一、HCIA-Big Data認(rèn)證概述
HCIA-Big Data認(rèn)證定位于大數(shù)據(jù)技術(shù)的普及，華為FusionInsight HD 解決方案的功能特性、常見(jiàn)且重要大數(shù)據(jù)組件基礎(chǔ)技術(shù)原理及操作演練的考核和認(rèn)證。HCIA-Big Data認(rèn)證包括但不限于：大數(shù)據(jù)行業(yè)與技術(shù)趨勢(shì)介紹；HDFS分布式文件系統(tǒng)、MapReduce分布式離線(xiàn)批處理計(jì)算引擎和Yarn資源協(xié)調(diào)、Spark2x基于內(nèi)存的分布式計(jì)算引擎、HBase分布式NoSQL數(shù)據(jù)庫(kù)、Hive分布式數(shù)據(jù)倉(cāng)庫(kù)、Streaming分布式流計(jì)算引擎、Loader數(shù)據(jù)轉(zhuǎn)換、Flume海量日志聚合、Kafka分布式消息訂閱系統(tǒng)、ZooKeeper集群分布式協(xié)調(diào)服務(wù)等11個(gè)常用且重要的大數(shù)據(jù)組件技術(shù)原理與架構(gòu)，華為大數(shù)據(jù)解決方案產(chǎn)品FusionInsight HD及成功案例介紹；基于獨(dú)立大數(shù)據(jù)組件的實(shí)戰(zhàn)演練以及大數(shù)據(jù)綜合應(yīng)用實(shí)戰(zhàn)。通過(guò)HCIA-Big Data認(rèn)證，將證明您已經(jīng)系統(tǒng)掌握常用且重要的大數(shù)據(jù)組件技術(shù)原理與架構(gòu)，能夠運(yùn)用華為大數(shù)據(jù)解決方案FusionInsight HD進(jìn)行海量數(shù)據(jù)的導(dǎo)入和導(dǎo)出、分布式文件系統(tǒng)HDFS的基礎(chǔ)操作、分布式數(shù)據(jù)庫(kù)HBase客戶(hù)端及表操作、分布式數(shù)據(jù)倉(cāng)庫(kù)Hive的常用HQL語(yǔ)句查詢(xún)，以及了解典型場(chǎng)景的綜合應(yīng)用等。使您具備大數(shù)據(jù)售前、大數(shù)據(jù)售后技術(shù)支持、大數(shù)據(jù)項(xiàng)目管理、大數(shù)據(jù)運(yùn)維管理、大數(shù)據(jù)開(kāi)發(fā)、大數(shù)據(jù)分析等崗位所必備的知識(shí)和技能。企業(yè)擁有通過(guò)HCIA-Big Data認(rèn)證的工程師，意味著企業(yè)掌握了大數(shù)據(jù)技術(shù)基礎(chǔ)原理與架構(gòu)等相關(guān)知識(shí)，具備運(yùn)用華為大數(shù)據(jù)解決方案FusionInsight HD和開(kāi)源Hadoop生態(tài)系統(tǒng)進(jìn)行數(shù)據(jù)初步處理的能力，并且為大數(shù)據(jù)應(yīng)用開(kāi)發(fā)業(yè)務(wù)奠定了堅(jiān)實(shí)的基礎(chǔ)。
二、HCIA-Big Data課程內(nèi)容介紹
|
課程 |
模塊 |
詳情內(nèi)容 |
|
HCIA-Big Data |
概述，F(xiàn)I基本架構(gòu) |
1、大數(shù)據(jù)時(shí)代的特征以及大數(shù)據(jù)的概念
2、大數(shù)據(jù)的應(yīng)用領(lǐng)域
3、大數(shù)據(jù)時(shí)代的機(jī)遇和挑戰(zhàn)
4、華為大數(shù)據(jù)解決方案 |
|
Kerberos&LDAP認(rèn)證 |
1、Kerberos、ldap簡(jiǎn)介
2、用戶(hù)分類(lèi)
3、Kerberos、ldap工作原理
4、Kerberos、ldap特性
5、Kerberos、ldap |
|
Zookeeper |
1、zookeeper在系統(tǒng)中的位置
2、zookeeper的系統(tǒng)架構(gòu)
3、zookeeper的關(guān)鍵特性
4、zookeeper與其他組件的關(guān)系 |
|
HDFS(讀寫(xiě)、壓縮) |
1、HDFS概述以及應(yīng)用場(chǎng)景
2、HDFS在FusionInsight產(chǎn)品當(dāng)中的位置 3、HDFS系統(tǒng)架構(gòu)
4、HDFS的關(guān)鍵特性介紹
5、HDFS shell應(yīng)用開(kāi)發(fā) |
|
MapReduce和Yarn |
1、MR的基本定義和特點(diǎn)
2、MR工作模式介紹
3、Yarn的基本定義
4、Yarn工作模式介紹
5、yarn的資源管理和任務(wù)調(diào)度
6、yarn的增強(qiáng)特性 |
|
Hbase |
1、Hbase的定義以及與傳統(tǒng)數(shù)據(jù)庫(kù)的對(duì)比 2、Hbase的功能與架構(gòu)
3、Hbase的工作流程
4、Hbase的華為增強(qiáng)特性 |
|
Streaming |
1、streaming的定義與應(yīng)用場(chǎng)景
2、streaming在fusioninsight產(chǎn)品的位置 3、streaming的關(guān)鍵特性介紹
4、streamSQL介紹 |
|
Kafka |
1、kafka的簡(jiǎn)要介紹
2、kafka的架構(gòu)與功能
3、kafka的關(guān)鍵工作流程
4、kafka在zookeeper上的目錄結(jié)構(gòu) |
|
Spark核心 |
1、spark的簡(jiǎn)要介紹
2、spark基本功能和技術(shù)架構(gòu)
3、spark的工作原理
4、spark在fusioninsight中的集成情況
5、sparkSQL的工作原理
6、streaming的工作原理 |
|
FusionInsight集群安裝部署 |
1、認(rèn)識(shí)華為的FusionInsight安裝部署流程
2、了解注意事項(xiàng) |
三、HCIP-Big Data認(rèn)證概述
HCIP-Big Data認(rèn)證定位于對(duì)大數(shù)據(jù)平臺(tái)和核心組件開(kāi)發(fā)應(yīng)用的場(chǎng)景理解，流程和開(kāi)發(fā)方法等能力構(gòu)建，考核和認(rèn)證。HCIP-Big Data認(rèn)證包括但不僅限于：FusionInsight應(yīng)用開(kāi)發(fā)流程，HDFS, HBase, Hive, Solr, Kafka, MR, YARN, Spark, Flume, Loader, Oozie, Redis, Storm等組件開(kāi)發(fā)應(yīng)用場(chǎng)景、流程、接口/方法和開(kāi)發(fā)樣例講解，開(kāi)發(fā)實(shí)踐。通過(guò)HCIP-Big Data認(rèn)證，將證明您深入理解大數(shù)據(jù)平臺(tái)與技術(shù)及應(yīng)用，掌握大數(shù)據(jù)平臺(tái)和關(guān)鍵組件的開(kāi)發(fā)流程、接口，掌握典型場(chǎng)景的開(kāi)發(fā)方法，勝任大數(shù)據(jù)開(kāi)發(fā)者工作崗位。擁有通過(guò)HCIP-Big Data認(rèn)證的工程師，意味著企業(yè)掌握了運(yùn)用大數(shù)據(jù)平臺(tái)和組件實(shí)現(xiàn)大數(shù)據(jù)解決方案規(guī)劃、實(shí)施、開(kāi)發(fā)等綜合能力。
四、HCIP-Big Data課程內(nèi)容介紹
|
課程 |
模塊 |
詳情內(nèi)容 |
|
HCIP-Big Data |
HDFS（讀寫(xiě)和壓縮）+eclipse使用 |
1、HDFS系統(tǒng)架構(gòu)以及HDFS的關(guān)鍵特性回顧
2、HDFS java應(yīng)用開(kāi)發(fā)
3、HDFS shell應(yīng)用開(kāi)發(fā) |
|
MapReduce和Yarn |
1、MR和yarn的工作模式回顧
2、MR的java開(kāi)發(fā) |
|
Hive |
1、hive的基本架構(gòu)回顧
2、hive的jdbc客戶(hù)端開(kāi)發(fā)流程 |
|
Hbase |
1、Hbase的功能與架構(gòu)和工作流程回顧
2、Hbase的java開(kāi)發(fā) |
|
Streaming |
1、streaming的關(guān)鍵特性回顧
2、streaming的java應(yīng)用開(kāi)發(fā)
3、CQL應(yīng)用開(kāi)發(fā) |
|
Loader&Flume |
1、flume關(guān)鍵特性回顧
2、flume的應(yīng)用開(kāi)發(fā) |
|
Kafka |
1、kafka的關(guān)鍵工作流程回顧 2、kafka的應(yīng)用開(kāi)發(fā) 3、flume和kafka綜合 |
|
Solr |
1、solr的概述以及應(yīng)用場(chǎng)景 2、solr的概念體系和系統(tǒng)構(gòu)架 3、solr的關(guān)鍵特性以及華為增強(qiáng)特性 4、solr的應(yīng)用開(kāi)發(fā) |
|
Oozie |
1、oozie簡(jiǎn)介2、oozie開(kāi)發(fā) |
|
Spark核心 |
1、spark的工作原理回顧 2、sparkcore的應(yīng)用開(kāi)發(fā) |
|
Spark SQL&SparkStreaming |
1、sparkSQL的工作原理與應(yīng)用開(kāi)發(fā)2、streaming的工作原理與應(yīng)用開(kāi)發(fā) |
|
Redis |
1、redis的基本概念和應(yīng)用場(chǎng)景 2、redis的應(yīng)用開(kāi)發(fā) |
|
Kerberos&LDAP認(rèn)證 |
1、Kerberos、ldap安裝與維護(hù) |
五、HCIE-Big Data認(rèn)證概述
HCIE-Big Data認(rèn)證定位于大數(shù)據(jù)分析領(lǐng)域中大型分布式并行處理數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)的架構(gòu)原理、優(yōu)化設(shè)計(jì)、應(yīng)用開(kāi)發(fā)和大數(shù)據(jù)挖掘領(lǐng)域的基礎(chǔ)理論、常用挖掘算法、應(yīng)用設(shè)計(jì)以及開(kāi)發(fā)，旨在推動(dòng)業(yè)界大數(shù)據(jù)行業(yè)的專(zhuān)家型人才培養(yǎng)。HCIE-Big Data認(rèn)證包括但不僅限于：（1）華為企業(yè)級(jí)的大型并行處理分布式數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)FusionInsight LibrA的架構(gòu)、功能特性、數(shù)據(jù)庫(kù)設(shè)計(jì)、數(shù)據(jù)庫(kù)數(shù)據(jù)導(dǎo)入導(dǎo)出、數(shù)據(jù)庫(kù)調(diào)優(yōu)及數(shù)據(jù)庫(kù)開(kāi)發(fā)等；（2）數(shù)據(jù)挖掘的理論（包括數(shù)據(jù)預(yù)處理、數(shù)據(jù)倉(cāng)庫(kù)、分類(lèi)、聚類(lèi)、關(guān)聯(lián)規(guī)則等）以及使用華為企業(yè)級(jí)大數(shù)據(jù)挖掘平臺(tái)FusionInsight Miner和基于華為云的企業(yè)智能平臺(tái)EI （Enterprise Intelligence）的基礎(chǔ)服務(wù) - MLS （Machine Learning Service，機(jī)器學(xué)習(xí)服務(wù)）進(jìn)行數(shù)據(jù)深度分析和挖掘。通過(guò)HCIE-Big Data認(rèn)證，將證明您系統(tǒng)理解并掌握大型并行處理數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)的架構(gòu)原理、分布式關(guān)系型數(shù)據(jù)庫(kù)的設(shè)計(jì)和優(yōu)化及應(yīng)用開(kāi)發(fā)；掌握大數(shù)據(jù)挖掘的基本原理，常用算法、常用挖掘方法、對(duì)華為大數(shù)據(jù)挖掘解決方案FusionInsight Miner和華為云機(jī)器學(xué)習(xí)服務(wù)MLS的熟練使用，勝任數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)、大數(shù)據(jù)分析、大數(shù)據(jù)數(shù)據(jù)挖掘和人工智能的相關(guān)崗位。企業(yè)擁有HCIE-Big Data 認(rèn)證的工程師，意味著企業(yè)掌握了運(yùn)用大數(shù)據(jù)技術(shù)進(jìn)行大數(shù)據(jù)分析應(yīng)用、大數(shù)據(jù)挖掘應(yīng)用的能力。
六、HCIE-Big Data課程內(nèi)容介紹
|
課程 |
模塊 |
詳情內(nèi)容 |
|
HCIE-Big Data |
FusionInsight解決方案 |
華為大數(shù)據(jù)解決方案整體介紹。包含華為FusionInsight大數(shù)據(jù)平臺(tái)架構(gòu)及功能模塊具體功能介紹。 |
|
FusionInsight HD安裝部署 |
FusionInsight HD大數(shù)據(jù)平臺(tái)安裝前規(guī)劃，包括物理硬件、軟件的準(zhǔn)備，磁盤(pán)、網(wǎng)絡(luò)、進(jìn)程的規(guī)劃。以及軟件的安裝步驟詳解 |
|
HDFS分布式文件系統(tǒng) |
1、HDFS簡(jiǎn)介
2、HDFS的系統(tǒng)架構(gòu)
3、HDFS的實(shí)現(xiàn)原理及關(guān)鍵特性
4、華為對(duì)HDFS的增強(qiáng)特性
5、HDFS的命令行客戶(hù)端使用介紹 |
|
MapReduce離線(xiàn)計(jì)算引擎 |
1、MR簡(jiǎn)介
2、MRv1與MRv2區(qū)別
3、Yarn架構(gòu)及工作原理詳解
4、MR on Yarn詳解
5、MR 數(shù)據(jù)處理流程詳解
6、MR使用演示 |
|
Hbase分布式數(shù)據(jù)庫(kù) |
1、Hbase簡(jiǎn)介
2、Hbase系統(tǒng)架構(gòu)
3、Hbase關(guān)鍵關(guān)鍵概念詳解
4、Hbase關(guān)鍵流程詳解（數(shù)據(jù)讀寫(xiě)流程、Region Split流程、小文件合并流程等）
5、Hbase過(guò)濾器介紹
6、Hbase表設(shè)計(jì)
7、Hbase shell客戶(hù)端使用 |
|
Hive分布式數(shù)據(jù)倉(cāng)庫(kù) |
1、Hive系統(tǒng)架構(gòu)
2、Hive工作原理
3、Hive關(guān)鍵特性（如分區(qū)表、分桶、數(shù)據(jù)加密、數(shù)據(jù)存儲(chǔ)格式等）
4、Hive權(quán)限管理
5、Hive shell客戶(hù)端使用 |
|
Streaming實(shí)時(shí)計(jì)算引擎 |
1、Streaming簡(jiǎn)介
2、Streaming架構(gòu)詳解
3、Streaming各進(jìn)程之間交互及工作原理詳解
4、Streaming關(guān)鍵特性介紹
5、Straming CQL的使用介紹 |
|
Spark內(nèi)存計(jì)算引擎 |
1、Spark 簡(jiǎn)介
2、Spark架構(gòu)詳解
3、Spark Core詳解
4、Spark SQL詳解
5、Spark Streaming詳解
6、Spark SQL使用介紹 |
|
數(shù)據(jù)挖掘基礎(chǔ) |
1、什么是數(shù)據(jù)挖掘
2、數(shù)據(jù)挖掘所能夠解決的問(wèn)題
3、數(shù)據(jù)挖據(jù)的常用算法簡(jiǎn)介
4、數(shù)據(jù)挖掘常用工具簡(jiǎn)介 |
|
FusionInsight Miner操作指南 |
1、項(xiàng)目和工作流的基本概念和管理
2、數(shù)據(jù)輸入算子（如讀取Hive表、讀取HDFS數(shù)據(jù)、讀取文本數(shù)據(jù)等）的功能和使用
3、數(shù)據(jù)轉(zhuǎn)換算子（如聚合、去重、過(guò)濾、連接等）的功能和使用
4、主成成分分析、異常檢測(cè)、分類(lèi)、聚類(lèi)、回歸、推薦等算子簡(jiǎn)介
5、數(shù)據(jù)輸出算子功能介紹及使用 |
|
數(shù)據(jù)預(yù)處理 |
1、數(shù)據(jù)類(lèi)型和數(shù)據(jù)質(zhì)量介紹
2、數(shù)據(jù)聚集、抽樣、維歸約、特征子集選擇、特征創(chuàng)建、離散化和二元化、變量轉(zhuǎn)換
3、相似性和向異性的度量 |
|
分類(lèi) |
1、邏輯回歸介紹
2、決策樹(shù)介紹
3、K-最近鄰分類(lèi)器介紹
4、貝葉斯分類(lèi)器介紹
5、支持向量機(jī)分類(lèi)器介紹
6、隨機(jī)森林介紹
7、梯度提升樹(shù)算法介紹
8、使用華為Miner實(shí)現(xiàn)數(shù)據(jù)分類(lèi) |
|
聚類(lèi) |
1、K-均值聚類(lèi)介紹
2、層次聚類(lèi)介紹
3、DBSCAN介紹
4、使用華為Miner通過(guò)K-均值算法實(shí)現(xiàn)數(shù)據(jù)聚類(lèi) |
|
關(guān)聯(lián)規(guī)則 |
1、頻繁項(xiàng)集相關(guān)概念介紹
2、生成關(guān)聯(lián)規(guī)則的算法介紹
3、關(guān)聯(lián)模式的評(píng)估 |
|
異常檢測(cè) |
1、異常的成因
2、異常檢測(cè)方法
3、基于臨近度的異常檢測(cè)
4、基于密度的離群點(diǎn)檢測(cè)
5、基于聚類(lèi)技術(shù)的離群點(diǎn)檢測(cè) |
|
推薦系統(tǒng) |
1、協(xié)同過(guò)濾算法 2、基于內(nèi)容的推薦 3、基于關(guān)聯(lián)規(guī)則的推薦 4、基于效用的推薦 5、基于知識(shí)的推薦 |
|
圖計(jì)算 |
1、圖計(jì)算基本概念
2、PageRank算法介紹
3、使用Miner關(guān)系分析中的網(wǎng)頁(yè)排名算子體驗(yàn)PageRank算法 |
|
分布式數(shù)據(jù)庫(kù)架構(gòu) |
1、體系構(gòu)架基本知識(shí)
2、MPP特性介紹 |
|
LibrA數(shù)據(jù)庫(kù)集群規(guī)劃和部署 |
1、組網(wǎng)方案
2、軟硬件要求
3、LibrA安裝前準(zhǔn)備
4、LibrA軟件安裝流程
5、LibrA安裝后檢查 |
|
關(guān)鍵特性 |
1、LibrA產(chǎn)品特性
2、LibrA關(guān)鍵技術(shù)
3、企業(yè)級(jí)增強(qiáng)特性 |
|
安全管理 |
1、訪(fǎng)問(wèn)控制
2、用戶(hù)管理
3、權(quán)限管理模型
4、對(duì)象權(quán)限
5、安全審計(jì) |
|
數(shù)據(jù)庫(kù)管理系統(tǒng)并發(fā)控制 |
1、配置負(fù)載均衡
2、事務(wù)與隔離級(jí)別
3、LibrA鎖機(jī)制介紹 |
|
數(shù)據(jù)備份與恢復(fù) |
1、備份與恢復(fù)方案
2、備份與恢復(fù)集群信息
3、備份與恢復(fù)數(shù)據(jù)庫(kù)對(duì)象
4、數(shù)據(jù)安全操作策略
5、物理備份與恢復(fù) |
|
數(shù)據(jù)遷移 |
1、數(shù)據(jù)遷移場(chǎng)景介紹
2、GDS工具介紹和使用
3、copy from/to介紹和使用
4、開(kāi)源ELT工具介紹和使用
5、gs_dump/gs_restore介紹和使用
6、gsql工具介紹和使用
7、Roach工具介紹和使用
8、從其他數(shù)據(jù)庫(kù)中遷移數(shù)據(jù) |
|
資源負(fù)載管理 |
1、資源負(fù)載管理的對(duì)象
2、內(nèi)存管理
3、基于資源池的資源負(fù)載管理機(jī)制
4、開(kāi)啟和管理資源負(fù)載管理功能
5、并發(fā)管理和優(yōu)先級(jí)調(diào)度
7、異常管理
8、檢查資源負(fù)載狀態(tài) |
|
配套工具集的使用 |
1、Database Manager工具介紹、安裝部署和主要功能列表
2、Data Studio工具介紹、安裝部署和主要功能列表 |
|
SQL介紹和使用 |
1、SQL相關(guān)機(jī)制和原理
2、SQL語(yǔ)法和相關(guān)操作
3、利用EXPLAIN進(jìn)行SQL調(diào)優(yōu) |
|
數(shù)據(jù)庫(kù)表設(shè)計(jì) |
1、數(shù)據(jù)庫(kù)邏輯設(shè)計(jì)
2、存儲(chǔ)模式
3、數(shù)據(jù)分布
4、表分區(qū)
5、索引 |
|
存儲(chǔ)過(guò)程 |
1、數(shù)據(jù)類(lèi)型介紹
2、數(shù)組介紹
3、申明語(yǔ)法
4、基本語(yǔ)句
5、動(dòng)態(tài)語(yǔ)句
6、控制語(yǔ)句
7、其他語(yǔ)句
8、游標(biāo)
9、高級(jí)包 |
|
數(shù)據(jù)庫(kù)性能監(jiān)控和調(diào)優(yōu) |
1、系統(tǒng)資源監(jiān)控方式
2、性能相關(guān)視圖
3、使用命令行監(jiān)控集群性能
4、使用DM工具監(jiān)控集群性能
5、LibrA的性能調(diào)優(yōu) |
|
應(yīng)用程序開(kāi)發(fā)指導(dǎo) |
1、FusionInsight LibrA驅(qū)動(dòng)介紹
2、ODBC應(yīng)用程序開(kāi)發(fā)
3、JDBC應(yīng)用程序開(kāi)發(fā)
4、基礎(chǔ)開(kāi)發(fā)規(guī)范 |
| 
