最近开始计划学习大数据知识点. 该目录下是记录大数据库篇幅的学习.
学习的原因是,如果公司对数据进行收集和日志等数据进行收集的话,就会发现其数据量是非常大的,并不是一点点的。 收集业务中的 埋点日志(用于定位线上的问题,那种在测试环境等不能复现出来的,但是却在product环境中能够查询到的情况) 。 收集的业务数据那就更不用说了,其好处是非常多的,比如: BI / 每年的支付宝账单等,肯定是都收集了业务的数据,最后进行类似BI 等操作.
学习大数据中的模块
- Hadoop (Mapreduce / Yarn )
- Zookeeper
- Hive
- Flume
- Kafka
- HBase
- phoniex
- sqoop
- scala
- spark
- flink
当然了, 其中的知识点并不仅仅只是这一点,但是仅仅只是这么多,都已经够学习很久,需要很多时间去研究其源码。如果能有公司实战或者带着你走的话,那么简直是更好了.
总之啦,初步这么指定,持续学习进步中.