SparkSQL指的是什么
这篇文章主要为大家展示了"SparkSQL指的是什么"，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下"SparkSQL指的是什么"这篇文章吧。
一、 Spark SQL介绍
Spark SQL是Apache Spark's的一个模块,用来处理结构化数据，1.0后产生；SQL语句主要体现在关系型数据库上，大数据中基于Hadoop的SQL有Hive（SQL on Hadoop）但是MapReduce计算过程中大量的磁盘落地过程消耗了大量I/O，降低运行效率，简单说就是稳定性高，计算慢，离线批处理的框架，因此其他的SQL on Hadoop工具产生。
SQL on Hadoop
Hive -- 把HQL语句转换MapReduce作业 提交到Yarn执行(元数据重要性)
Impala -- 开源的交互式SQL查询引擎,基于内存处理
Presto -- 分布式SQL查询引擎
Shark -- SQL语句翻译Spark作业，Hive跑在Spark之上,依赖Hive与Hive兼容性差
Drill -- 查询引擎包括SQL/FILE/HDFS/S3
Phoenix -- 基于Hbase上的SQL引擎
Hive on SQL是社区发展另外一个路线，属于Hive发展计划,把Spark作为Hive的执行引擎;之前我们说的HIve作业跑在Hadoop的MapReduce上的；现在Hive不受限于一个引擎，可以采用MapReduce、Tez、Spark等引擎。
二、 Spark SQL特性
集成性-SQL查询与应用程序对接
统一的数据访问-连接各种数据源（Hive, Avro, Parquet, ORC, JSON, and JDBC）
与Hive的集成性，不需要Hive,使用Hive存在Metastores即可或者使用Hive-site文件
通过JDBC和ODBC连接,start-thriftserver底层走的也是Thrift协议(Hive_server2底层基于Thrift协议，)
Spark SQL不仅仅是SQL，远超出SQL
三、 Spark SQL优势
A：内存列存储（In-Memory Columnar Storage）
Spark SQL的表数据在内存中的存储采用是内存列式存储，而不是原生态JVM对象存储方式。
Spark SQL列式存储将数据类型相同列采用原生数组来存储，将Hive支持的复杂数据类型（如array、map等）先序化后并接成一个字节数组来存储。这样，每个列创建一个JVM对象，从而导致可以快速的GC和紧凑的数据存储；额外的，还可以使用低廉CPU开销的高效压缩方法（如字典编码、行长度编码等压缩方法）降低内存开销；更有趣的是，对于分析查询中频繁使用的聚合特定列，性能会得到很大的提高，原因就是这些列的数据放在一起，更容易读入内存进行计算
B：字节码生成技术（bytecode generation，即CG）
数据库查询中有一个昂贵的操作是查询语句中的表达式，主要是由于JVM的内存模型引起的。比如如下一个查询：
中有一个昂在这个查询里，如果采用通用的SQL语法途径去处理，会先生成一个表达式树。
select a+b from table
在物理处理这个表达式树的时候，将会如图所示的7个步骤
1. 调用虚函数Add.eval()，需要确认Add两边的数据类型
2. 调用虚函数a.eval()，需要确认a的数据类型
3. 确定a的数据类型是Int，装箱
4. 调用虚函数b.eval()，需要确认b的数据类型
5. 确定b的数据类型是Int，装箱
6. 调用Int类型的Add
7. 返回装箱后的计算结果
C：Scala代码优化
...............
四、 Spark SQL运行架构
Catalyst就SparkSQL核心部分，性能的优劣影响整体的性能，由于发展时间短，虚线部分是以后版本要实现功能，实现部分是已经实现功能。
Unresolved Logical Plan：未解析的逻辑执行计划
Schema Catalog：元数据管理套用Unresolved Logical Plan生成Logical Plan
Logical Plan：生成逻辑执行计划
Optimized Logical Plan：对生生成的Logical Plan进行优化,生成物理逻计划
Physical Plans：物理逻辑计划,可能是多个,根据Cost Model生成最佳的物理逻辑化
以上是"SparkSQL指的是什么"这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注行业资讯频道！
