大数据学习路线

大数据学习路线

基础阶段

1 深入理解Java面向对象思想

2 掌握开发中常用基础API

3 熟练使用集合框架、IO流、异常

4 熟练使用MySQL，掌握SQL语法

5 能够基于JDK8开发

6 能够使用jdbc 连接数据库

5 初步了解大数据导论

初识大数据

1Linux系统的安装和操作

2 Idea、Maven等开发工具的使用

3 了解数据处理流程，了解大数据技术原理与应用

进阶大数据

1 Hadoop组成、安装、架构和源码深度解析，以及API的熟练使用

2 Hive的安装部署、内部架构、熟练使用其开发需求以及企业级调优

3 Zookeeper的内部原理、选举机制以及大数据生态体系下的应用

4 Kafka的安装部署以及框架原理，重点掌握Kafka的分区分配策略、数据可靠性、数据一致性、数据乱序处理、零拷贝原理、高效读写原理、消费策略、再平衡等内容

5 开发工具Git&Git Hub的熟练使用

Spark生态体系架构

1 Spark的入门安装部署、Spark Core部分的基本API使用熟练、RDD编程进阶、累加器和广播变量的使用和原理掌握、Spark SQL的编程掌握和如何自定义函数、Spark的内核源码详解（包括部署、启动、任务划分调度、内存管理等）、Spark的企业级调优策略

2 Redis的入门、基本配置讲解

3 调度系统DophineScheduler的安装部署，熟练使用进行工作流的调度执行

Flink生态体系架构

1 熟练掌握Flink的基本架构以及流式数据处理思想，熟练使用Flink多种Soure、Sink处理数据，熟练使用基本API、Window API 、状态函数、Flink SQL、Flink CEP复杂事件处理等

2 ClickHouse安装、使用及调优