大数据分析是学什么内容的

　　关于大数据分析许多新人在开始接触的时候都喜欢将所有焦点放在各种组件、框架等生态相关上面，或者将所有心思放在语言软件系统上，认为这些学到位了所有就能顺畅展开，走好大数据分析发展之路，如此理解显然大错特错。那么，大数据分析是学什么内容的?下面就由我来具体分析和解释一下。
 

　　大数据分析师的日常从业流程就是：收集、传输、转换、清洗、存储、二次加工、挖掘、统计、可视化结论输出。为了成为优秀的大数据分析师，每个新人都需要系统学习跟以上相关的课程内容，具体来说，课程安排如下：

　　第一，数据收集，数据收集的方法常见的有下面这些：与第三方合作由对方负责收集、业务数据、服务日志、行为上报数据、python爬虫、信息、网络等等，这项工作难度相当大，因为所谓的大数据指的是量在10tb以上的数据集，一本500万字电子书的内存量才几百兆而已，要收集如此大量的数据要讲究技巧，否则等到数据收集完也早就过了时效性了。到底有哪些技巧，怎么快速收集?这在课程内会有详细讲解，举个例子，在语言方面一定要高效利用java和python等，结合其他相关脚本知识才能做到高效有用。

　　第二，数据传输，一般会用到hadoop生态，其中常见的就是kafka与flume组合搭配，除此之外像消息队列的存在——ActiveMQ、阿里的RocketMQ就是典型的代表。

　　第三，数据存储，比较常见的乃是hdfs，它常被用于作为大量数据处理的基础支撑，它具备强大的横向扩展功能，而且在此基础上还衍生了许多不同的存储方式，比如说hive、HBase等等都是。

　　第四，数据再加工，常用到的就是Hadoop的MR框架以及Spark，再加工就是利用分布式处理框架将杂乱的数据变得标准化，将残缺的数据做有效补充，就原始的数据做深度加工，把一些明确的数字做规整再提取对应的高级属性，要用到的主要有storm以及spark streaming之类的实时框架。

　　第五，应用价值的输出，所谓应用价值简单一些来说就是可视化结论，对于非科班出身的人士而言，她们根本就看不懂到底在软件中被呈现的数据有什么意思，只能用图表等直白的方式来表达才行，所以需要以应用价值直接输出，到此就算是大数据分析全流程的完结。

　　因为在大数据分析培训机构内所学刚好就是从业日常所需，两者呈现对等关系，所以报班学习是一个不错的路径，学成归来之后就能利用大数据做统计分析、预测数据、做好画像体系等工作，还能利用大数据实现业务的数据化、智能化、自动化。