【培訓對象】
網絡部、大數據系統開發部、大數據中心、網絡運維部等相關技術人員。

【培訓收益】

第一部分：Hadoop的基本框架
1、大數據時代面臨的問題
2、當前解決大數據的技術方案
3、Hadoop架構和云計算
4、Hadoop簡史及安裝部署
5、Hadoop設計理念和生態系統

第二部分：HDFS分布式文件系統--海量數據存儲的搖籃
1、HDFS的設計目標
2、HDFS的基本架構
NameNode名稱節點
SecondaryNameNode第二名稱節點
DataNode數據節點
3、HDFS的存儲模型
數據塊存儲
元數據存儲（空間鏡像與編輯日志）
多副本存儲
4、多副本放置策略
5、多數據節點管理機制與交互過程
6、文件系統操作與管理
讀文件過程
寫文件過程（數據流管道）
7、數據完整性機制
數據校驗和
數據完整性掃描線程
元數據備份與合并
8、數據可靠性設計
安全模式（數據塊與節點映射關系管理）
心跳檢測機制（節點失效管理）
租約機制（多線程并發控制）
9、其它
HDFS的安全機制
負載均衡
文件壓縮
10、操作接口與編程接口
HDFS Shell
HDFS Commands
WebHDFS REST API
HDFS Java API
演練：HDFS文件操作命令
演練：HDFS編程示例

第三部分：MapReduce分布式計算系統--海量數據處理的利器
1、MapReduce的三層設計理念
分布治之的設計思想（Map與Reduce）
數據處理引擎（編程模型）
運行時環境（任務調度與執行）
2、MapReduce的基本架構
JobTracker作業跟蹤器
TaskTracker任務跟蹤器
MapReduce與HDFS的部署關系
3、MapReduce編程模型概述
編程接口介紹
Hadoop工作流實現原理
4、MapReduce作業調度機制
MapReduce作業生命周期
作業調度策略
靜態資源管理方案
5、數據并行處理機制（五步驟）
Input階段實現
Map階段實現
Shuffle階段實現
Reduce階段實現
Output階段
6、MapReduce容錯機制
任務失敗與重新嘗試
節點失效與重調度
單點故障
7、MapReduce性能優化
優化方向與思路
磁盤IO性能優化
分片優化
線程數量優化
內存優化
壓縮優化
8、MapReduce操作接口
Job Shell
Web UI
案例演練：MapReduce編程示例
9、YARN：下一代通用資源管理系統
MRv1的局限性
YARN基本框架
NN HA：解決單點故障
HDFS Federation：解決擴展性問題

第四部分：HBase非關系型數據庫--海量數據的黎明
1、HBase的使用場景
2、HBase的基本架構
Zookeeper分布式協調服務器
Master主控服務器
Region Server區域服務器
3、HBase的數據模型
HBase的表結構
行鍵、列鍵、時間戳
4、HBase的存儲模型
基本單位Region
存儲格式HFile
5、數據分裂機制Split
6、數據合并機制Compaction
minor compaction
major compaction
7、HLog寫前日志
8、數據庫讀寫操作
數據庫寫入
數據庫讀取
三次尋址
9、HBase操作接口
Native Java API
HBase Shell
批量加載工具
HiveQL操作
10、HBase性能優化
寫速度優化
讀速度優化
11、HBase集群監控與管理
案例演練：HBase命令操作實例

第五部分：Hive分布式數據倉庫--高級的編程語言
1、Hive是什么
2、Hive與關系數據庫的區別
3、Hive系統架構
用戶接口層
元數據存儲層
驅動層
4、Hive常用服務
5、Hive元數據的三種部署模式
6、Hive的命名空間
7、Hive數據類型與存儲格式
數據類型
TextFile/SequenceFile/RCFile
8、Hive的數據模型
管理表
外部表
分區表
桶表
9、HQL語言命令實例
DDL數據定義語言
DML數據操作語言
QUERY數據查詢語言
10、Hive自定義函數
基本函數（UDF）
聚合函數（UDAF）
表生成函數（UDTF）
11、Hive性能優化
動態分區
壓縮
索引
JVM重用
案例演練：Hive命令操作實例

第六部分：Sqoop數據交互工具--與傳統數據庫的橋梁
1、Sqoop是什么
2、Sqoop的架構和功能
Sqoop1架構
Sqoop2架構
3、數據雙向交換
數據導入過程
數據導出過程
4、數據導入工具與命令介紹
案例演練：Sqoop數據導入/導出實際操作

第七部分：Pig數據流處理引擎--數據腳本語言
1、Pig介紹
2、命令行交互工具Grunt
3、Pig數據類型
4、Pig Latin腳本語言介紹
基礎知識
輸入和輸出
關系操作
調用靜態Java函數
5、Pig Latin高級應用
6、開發與測試Pig Latin腳本
開發工具
任務狀態監控
調試技巧
7、腳本性能優化
8、用戶自定義函數UDF
案例演練：Pig Latin腳本編寫、測試與運行操作

結束：課程總結與問題答疑。 

• 寬帶接入與智慧家庭技術培訓

   

  時間 內容 ..

  ￥   元/ 天

  人氣：1164  

  

• 面向全業務的寬帶傳輸技術培訓

   

  一、通信產業發展背景和趨勢1.全球互聯網流量現狀和趨勢2.全球無線接入流量變化趨勢3.全球消費者網絡視頻變化趨勢4.中國網民規模和結構二、四川移動全業務布局和實現1.電信運營商全業務格局2.全業務運營的概念和特點3.中國移動全業務運營現狀4.全業務競爭下客戶的典型需求5.中國移動全業務布局6.全業務基礎通信..

  ￥   元/ 天

  人氣：770  

  

• 面向全業務的傳送網絡技術培訓

   

  一、通信產業發展背景和趨勢1.全球互聯網流量現狀和趨勢2.全球無線接入流量變化趨勢3.全球消費者網絡視頻變化趨勢4.中國網民規模和結構二、中國移動全業務布局和實現1.電信運營商全業務格局2.全業務運營的概念和特點3.中國移動全業務運營現狀4.全業務競爭下客戶的典型需求5.中國移動全業務布局6.全業務基礎通信..

  ￥   元/ 天

  人氣：912  

  

• 本地網PON技術培訓

   

  一、達州移動網絡架構和技術選擇1.達州移動網絡架構2.達州移動業務類型3.達州移動本地網技術選擇4.不同業務的技術實現二、PON關鍵技術1.接入網技術概述2.PON的概念及技術分類3.光進銅退的概念4.PON網絡工作原理和網絡質量5.OLT設備和工作原理6.ONU設備和工作原理三、影響接入網網絡質量..

  ￥   元/ 天

  人氣：954  

  

• 全業務綜合故障解決方案培訓、裝維技術培訓

   

  時間 內容 收益 ..

  ￥   元/ 天

  人氣：876  

  

• 物聯網智能技術培訓

   

  Topics/題目 Contents/內容 時長/Time ..

  ￥   元/ 天

  人氣：1093