课程目标
深入理解华为大数据平台与技术及应用,了解大数据主流技术、大数据场景化解决方案、离线批处理、实时检索、实时流处理、融合数仓、大数据应用开发流程等内容,掌握华为大数据平台和关键组件的开发流程、接口,掌握典型场景的开发方法、胜任大数据 开发者工作岗位
课程大纲
模块一 大数据应用开发总指导
1.大数据主流技术
2.大数据场景化解决方案
3.大数据应用开发
模块二 大数据离线处理场景化解决方案
1.离线批处理场景方案
2. 离线批处理框架的介绍、技术原理、参数属性、重要配置等,包括数据存储 HDFS,数据仓库 Hive,离线分析 SparkSQL,数据采集工具 Loader、Sqoop 等
3. 离线批处理实际案例
模块三 大数据实时检索场景化解决方案
1.实时检索场景方案
2.分布式数据库介绍、技术原理、参数属性、重要配置等,包括 HBase、ElasticSearch、GraphBase 等
3.实时检索实际案例
模块四 大数据实时流计算场景化解决方案
1.实时流计算应用方案
2.实时流计算组件的介绍、技术原理、参数属性、重要配置等,包括 Flume、Kafka、Flink、
SparkStreaming、Redis 等
3.实时流处理配置方案及成功案例
模块五 大数据融合数仓场景化解决方案
1.数据仓库背景介绍
2.GaussDB 200 介绍
3.融合数仓案例