大数据和数据分析有什么区别？

企业可以通过手中的数据，或挖掘用户需求，或优化产品，或抢夺市场，或减少运营成本等等……一个优秀的数据分析师能为企业带来巨大的潜在利润。随着企业对数据分析师的需求逐年增加，数据分析师的薪酬待遇也水涨船高。

当我们打开招聘网站，看着数据分析师诱人的薪资的时候，会发现数据分析岗有"数据分析师"和"大数据分析师"之分，那大数据和数据分析有什么区别呢？

CDA数据分析研究院于2018年8月对智联招聘网站中关键字"数据分析"的招聘信息进行爬取，在对数据进行清洗后，排除了一万多条低相关度的招聘以及虚假招聘，对剩下的5706条相关招聘信息进行分析。

通过对招聘信息中 "岗位职责"和"任职要求"两个字段作词频分析，我们可以得知两者的区别。

1.岗位职责区别

首先我们对数据分析岗位的字段"岗位职责"生成词云（涉及813条数据）：

我们可以总结出数据分析岗位的主要工作职责：

1、负责日常的需求调研、数据分析、商业分析。这过程的日常任务可能包括提交日报、周报、月报、年报等数据报表；

2、根据业务需求，制定相关数据的采集策略，设计、建立、测试相关的数据模型，从而从数据中提取决策价值。这过程可能需要撰写特定分析需求的报告；

3、研究数据挖掘模型，参与数据挖掘模型的构建、维护、部署和评估工作。

而当我们对大数据分析岗位的字段"岗位职责"生成词云（涉及508条数据），我们可以明显看到两类数据岗位的区别：

我们可以归纳出大数据分析岗的主要工作职责：

1、参与大数据平台的设计与开发，解决海量数据面临的挑战；

2、精通Java编程，能基于Hadoop/Hive/Spark/Storm/HBase等构建公司的大数据分析平台；

3、管理、优化并维护Hadoop、Spark等集群，保证集群规模持续、稳定；

4、负责HDFS/hive/HBase的功能、性能和扩展，解决并实现业务需求。

2.从业者专业背景要求区别

通过对数据分析岗的字段"任职要求"（涉及999条数据），CDA数据分析研究院发现目前招聘需求中，对数学、统计学、计算机这三个专业背景的应聘者的需求最高，其次是经济类专业。

而当我们对大数据岗位的专业背景作词频分析时发现（涉及658条数据），大数据分析岗位对计算机专业背景要求最高，词频几乎是统计学专业的两倍多。对数学专业的需求排第二，对经济类专业的需求极少。

3.使用分析工具区别

那两类岗位在工作中使用的软件工具有什么区别呢？

CDA数据分析研究院先对"任职要求"中的数据分析工具作词频分析（涉及999条）：

我们会发现将近一半的岗位要求掌握SQL语言和EXCEL，排在第三位的是当前数据科学界的"当红炸子鸡"Python。紧随其后的是传统的统计软件R、SPSS、SAS。当然也会有少部分企业要求懂得大数据平台架构软件Hadoop、Storm等。

而当CDA数据分析研究院对大数据分析岗位作词频分析时发现(涉及658条)，岗位要求中词频最高的是Hadoop、Spark、Hive、HBase、Storm等大数据平台工具。

超过六成的大数据分析岗要求对Java编程熟练，近三分之一岗位要求对Linux开发环境熟悉。

除了要求掌握海量数据处理的软件工具以外，Python和SQL的词频也很高，近三分之一的岗位要求掌握。但是我们能明显看到大数据分析工作中所使用的软件均偏向于大数据平台的开发和架构，要处理的数据量也远超普通数据分析岗。