中信網(wǎng)培字[2013]019號

關(guān)于舉辦“大數(shù)據(jù)的處理技巧及案例分析”高級研修班的通知

各有關(guān)單位：

　　　大數(shù)據(jù)分析作為數(shù)據(jù)分析的前沿技術(shù)，廣泛應(yīng)用于物聯(lián)網(wǎng)、云計算、移動互聯(lián)網(wǎng)等新興產(chǎn)業(yè)。為加強大數(shù)據(jù)分析，創(chuàng)新發(fā)展頂層設(shè)計和科學(xué)布局，推動相關(guān)人員更好理解和掌握大數(shù)據(jù)分析的關(guān)鍵技術(shù)原理和未來發(fā)展方向，使各企事業(yè)單位利益最大化，中國信息協(xié)會信息服務(wù)網(wǎng)絡(luò)委員會決定舉辦“大數(shù)據(jù)的處理技巧及案例分析”高級研修班，并委托北京中建研信息管理咨詢中心承辦，望各單位收到通知后組織相關(guān)人員參加?，F(xiàn)將有關(guān)事宜通知如下：

課程內(nèi)容

課程模塊 課程主題 主要內(nèi)容 案例和演示

模塊一 Hadoop的來源和動機 傳統(tǒng)大規(guī)模系統(tǒng)存在的問題 

Hadoop概述 

Hadoop分布式文件系統(tǒng)      

MapReduce工作原理         

Hadoop集群剖析            

 Hadoop生態(tài)系統(tǒng)對一種新的解決方案的需求

Hadoop的行業(yè)應(yīng)用案例分析

Hadoop在云計算和大數(shù)據(jù)的位置和關(guān)系 Hadoop在淘寶、支付寶的作用

電商眼中的Hadoop和推薦系統(tǒng)。

移動大云項目(big cloud)中的Hadoop

聯(lián)通使用Hadoop/Hbase解決3G詳單查詢問題。

模塊二 Hadoop生態(tài)系統(tǒng)介紹和演示 Hadoop HDFS 和 MapReduce 

Hadoop數(shù)據(jù)庫之HBase 

Hadoop數(shù)據(jù)倉庫之Hive

Hadoop數(shù)據(jù)處理腳本Pig 

Hadoop數(shù)據(jù)接口Sqoop和Flume，Scribe DataX 

Hadoop工作流引擎 Oozie Yahoo如何使用Hadoop構(gòu)建大規(guī)模搜索的應(yīng)用

FaceBook 基于Hadoop構(gòu)建數(shù)據(jù)倉庫

模塊三 Hadoop組件詳解 Hadoop HDFS 基本結(jié)構(gòu)

Hadoop HDFS 副本存放策略

Hadoop NameNode 詳解

Hadoop SecondaryNameNode 詳解 

Hadoop DataNode 詳解

Hadoop JobTracker 詳解 

Hadoop TaskTracker 詳解 Hadoop Mapper類核心代碼

Hadoop Reduce類核心代碼

Hadoop 核心代碼

模塊四 Hadoop安裝和部署 Hadoop系統(tǒng)模塊組件概述

Hadoop試驗集群的部署結(jié)構(gòu)

Hadoop 安裝依賴關(guān)系

Hadoop 生產(chǎn)環(huán)境的部署結(jié)構(gòu)

Hadoop集群部署

Hadoop 高可用配置方法

Hadoop 集群簡單測試方法 

Hadoop 集群異常Debug方法 Hadoop安裝部署實驗

Red hat Linux基礎(chǔ)環(huán)境搭建

Hadoop 單機系統(tǒng)版本安裝配置

Hadoop 集群系統(tǒng)版本安裝和啟動配置 

使用 Hadoop MapReduce Streaming 快速測試系統(tǒng)

Hadoopcore-site，hdfs-site，mapred-site 配置詳解

模塊五 Hadoop和數(shù)據(jù)庫技術(shù)優(yōu)劣勢對比 Hadoop/Hive 對比 Oracle 在構(gòu)建數(shù)據(jù)倉庫上的優(yōu)劣勢

Hadoop 如何和傳統(tǒng)IT系統(tǒng)配合完成原來不可能的任務(wù) Apache社區(qū)版本：Cloudera 版本、MapR版本、Intel版本、Oracle、Dell、HP版本

模塊六 編寫MapReduce高級程序 使用 Hadoop MapReduce Streaming 編程

MapReduce流程          

剖析一個MapReduce程序 

基本MapReduceAPI 概念  

驅(qū)動代碼 Mapper、Reducer

Hadoop流 

API 使用Eclipse進行快速開發(fā)               

新MapReduce API 

MapReduce的優(yōu)化

MapReduce的任務(wù)調(diào)度

MapReduce編程實戰(zhàn)

如何利用其他Hadoop相關(guān)技術(shù)，包括Apache Hive， Apache Pig，Sqoop和Oozie等 

滿足解決實際數(shù)據(jù)分析問題的高級Hadoop API Hadoop Streaming 和 Java MapReduce Api 差異。

 MapReduce 實現(xiàn)數(shù)據(jù)庫功能

利用Combiners來減少中間數(shù)據(jù)

數(shù)據(jù)壓縮解壓算法

基于統(tǒng)計模型的壓縮算法 ：Huffman編碼、算數(shù)編碼、PPM算法

基于字典模型的編碼：LZ77算法、LZ78算法、LZW算法

面向?qū)崟r數(shù)據(jù)的專用壓縮算法：矩形波串法、后向斜率法、旋轉(zhuǎn)門壓縮算法。

其他壓縮算法：RLE文本壓縮算法、BWT算法

編寫Partitioner來優(yōu)化負載平衡

 直接訪問Hadoop分布式文件系統(tǒng)（HDFS）

Hadoop的join操作

輔助排序在Reducer方的合并

 定制Writables和WritableComparables 

使用SequenceFiles和Avro文件保存二進制數(shù)據(jù) 

創(chuàng)建InputFormats OutputFormats

Hadoop的二次排序

Hadoop的海量日志分析

在Map方的合并       

模塊七 集成Hadoop到現(xiàn)有工作流 

及Hadoop API深入探討 存儲系統(tǒng) 

利用Sqoop從關(guān)系型數(shù)據(jù)庫系統(tǒng)中導(dǎo)入數(shù)據(jù)到Hadoop 

利用Flume導(dǎo)入實時數(shù)據(jù)到Hadoop 

ToolRunner介紹、使用MRUnit進行測試 

使用Configure和Close方法來進行Map/Reduce設(shè)置和關(guān)閉 使用FuseDFS和Hadoop訪問HDFS

使用分布式緩存（Distributed Cache）

直接訪問Hadoop分布式文件系統(tǒng)（HDFS） 

利用Combiners來減少中間數(shù)據(jù)

編寫Partitioner來優(yōu)化負載平衡  

模塊八 使用Hive和Pig開發(fā)及技巧 Hive和Pig基礎(chǔ)              

Hive的作用和原理說明

Hadoop倉庫和傳統(tǒng)數(shù)據(jù)倉庫的協(xié)作關(guān)系

Hadoop/Hive倉庫數(shù)據(jù)數(shù)據(jù)流

Hive 部署和安裝

Hive Cli 的基本用法

HQL基本語法

使用Oozie的動機      

 Oozie工作流定義格式   使用JDBC 連接Hive進行查詢和分析

使用正則表達式加載數(shù)據(jù)

HQL高級語法

編寫UDF函數(shù)

編寫UDAF自定義函數(shù)

使用Sqoop進行數(shù)據(jù)分析

使用oozie配置工作流

phpHiveAdmin 安裝和使用

模塊九 實用開發(fā)技巧 排序和搜索索引            

用Mahout進行機器學(xué)習(xí) 

Term Frequency – Inverse Document Frequency 

圖論簡介   Word Co-Occurrenc

用Hadoop表示圖

一個圖算法的實現(xiàn)：單源最短路徑

二、培訓(xùn)時間及地點

    2013年12月13日—12月16日 （13日全天報到）  深圳

　　　2014年 1月14日— 1月17日  （14日全天報到）  北京

  “機房建設(shè)與管理”的課程(所有內(nèi)容QQ:931053300)

　　　2013年12月 3日—12月6日   （3日全天報到 ）上海

　　　2014年1月 12日—1月15日   （12日全天報到 ）海南*?？?/div>