課程簡介
目標(biāo)收益
通過該課程學(xué)習(xí)，洞悉Hadoop，NoSQL與Spark等技術(shù)的原理、架構(gòu)與技術(shù)手段；結(jié)合豐富實(shí)例掌握其設(shè)計與開發(fā)方法，以及掌握如軟件架構(gòu)、性能調(diào)優(yōu)等使用過程中的實(shí)用技巧；深入了解Hadoop，NoSQL，Spark體系中各成員，理解Hadoop，NoSQL，Spark成員各自的優(yōu)、缺點(diǎn)與正確適用場景，了解技術(shù)最新發(fā)展動向，能對Hadoop，NoSQL與Spark體系在學(xué)員企業(yè)、學(xué)員項目、學(xué)員研發(fā)中是否可用、如何定位以及如何使用做出正確判斷與學(xué)習(xí)，并且對如何結(jié)合大數(shù)據(jù)技術(shù)規(guī)劃企業(yè)數(shù)據(jù)架構(gòu)得到相當(dāng)?shù)膯l(fā)與收獲。
培訓(xùn)對象
企業(yè)中高層技術(shù)管理人員、企業(yè)技術(shù)戰(zhàn)略決策者、軟件架構(gòu)師、軟件研發(fā)人員與大數(shù)據(jù)技術(shù)愛好者，有大數(shù)據(jù)及海量數(shù)據(jù)管理與處理需求的企業(yè)優(yōu)先。
課程大綱
| 大數(shù)據(jù)時代關(guān)系數(shù)據(jù)庫的挑戰(zhàn)與應(yīng)對 |
1. 現(xiàn)代數(shù)據(jù)管理技術(shù)綜述 2. 關(guān)系數(shù)據(jù)庫技術(shù)的核心特征 3.主流關(guān)系數(shù)據(jù)庫的挑戰(zhàn) 4. 改進(jìn)型關(guān)系數(shù)據(jù)庫 |
| 大數(shù)據(jù)技術(shù)綜述 |
1. 大數(shù)據(jù)概念澄清 2. 大數(shù)據(jù)技術(shù)家族 3. NoSQL技術(shù)綜述 3.1最早的NoSQL---BDB 3.2 Hadoop之Hbase與Facebook之Cassandra 3.3 MongoDB與CouchDB 3.4Memcached與Redis 3.5圖形數(shù)據(jù)庫Neo4j 4. MapReduce 5.關(guān)系數(shù)據(jù)庫聯(lián)邦 6.海量分布式文件系統(tǒng) 7大數(shù)據(jù)技術(shù)理論基礎(chǔ) CAP，BASE，ACID |
| Hadoop實(shí)用教程 |
1. Hadoop技術(shù)概論 1.1 Hadoop體系架構(gòu)總論 1.2 HDFS-工作原理與架構(gòu) 1.3 平民化的分布式計算MapReduce 1.4 MapReduce工作原理與架構(gòu) 1.5 Hadoop數(shù)據(jù)倉庫-Hive 1.6 Hadoop NoSQL數(shù)據(jù)庫-HBase 1.7 工作流調(diào)度-Ooize 1.8 分布式協(xié)調(diào)系統(tǒng)--Zookeeper 2. Hadoop部署 2.1 Hadoop版本介紹與選擇 2.2 Hadoop部署實(shí)踐 2.3 Hadoop安裝文件構(gòu)成與配置體系 2.4 機(jī)器硬件建議配置 2.5 系統(tǒng)環(huán)境配置 2.6 基本參數(shù)配置與說明 2.7 進(jìn)程分布規(guī)劃與啟動 3. 分布式文件系統(tǒng)HDFS實(shí)用教程 3.1 HDFS操作 3.2 HDFS編程—文件讀寫 3.3 HDFS數(shù)據(jù)壓縮 3.4 HDFS技術(shù)要點(diǎn) 4. MapReduce實(shí)用教程 4.1 MapReduce原理與架構(gòu) 4.2 MapReduce編程方法 4.3 MapReduce實(shí)用技術(shù)要點(diǎn) 4.4 MapReduce排序與關(guān)聯(lián) 4.5 MapReduce工作流 4.6 MapReduce調(diào)優(yōu) 5. MapReduce2.0-YARN 5.1 YARN的原理 5.2 YARN設(shè)計架構(gòu) 5.3 YARN工作流程 5.4 YARN與MapReduce1.0比較 6. MapReduce實(shí)例講解 6.1普通實(shí)例 6.2 高級實(shí)例 6.3 MapReduce高級數(shù)據(jù)分析（時間允許時） 7. Hadoop數(shù)據(jù)倉庫Hive 7.1 Hive編程 7.2 Hive環(huán)境部署與搭建 7.3 Hive工作機(jī)制 7.4 Hive語法與實(shí)踐 8. 其它ZooKeeper，Sqoop，Chukwa，Avro…… |
| Hadoop技術(shù)分析 |
1. Hadoop MapReduce技術(shù)解析 6.1關(guān)于效率 6.2關(guān)于擴(kuò)展性 6.3關(guān)于可靠性與可用性 6.4關(guān)于與關(guān)系數(shù)據(jù)庫 6.5關(guān)于適用的數(shù)據(jù)類型 6.6關(guān)于數(shù)據(jù)存儲與管理 2. Hadoop與關(guān)系數(shù)據(jù)庫 2.1 MapReduce與關(guān)系數(shù)據(jù)庫 2.2 Hive與MPP關(guān)系數(shù)據(jù)庫 |
| NoSQL實(shí)用教程 |
1.NoSQL理論基礎(chǔ)---CAP與BASE深入分析 2.NoSQL實(shí)用教程 2.1 HBase實(shí)用教程 2.1.1 HBase原理 2.1.2 HBase實(shí)用安裝部署要點(diǎn) 2.1.3 HBase數(shù)據(jù)模型 2.1.4 HBase索引與關(guān)聯(lián)的實(shí)現(xiàn) 2.1.5 HBase使用 2.1.6HBase性能調(diào)優(yōu) 2.1.7 HBase高級設(shè)計教程---如何真正用好HBase 2.1.8 HBase與關(guān)系數(shù)據(jù)庫結(jié)合 3. NoSQL設(shè)計實(shí)例 3.1 HBase實(shí)現(xiàn)全屬性查詢 3.2 HBase實(shí)現(xiàn)時間序列數(shù)據(jù)管理 3.3 HBase與MapReduce結(jié)合示例 4. Facebook Cassandra介紹 5.MongoDB介紹 6.圖數(shù)據(jù)庫Neo4J介紹 |
| NoSQL技術(shù)分析 |
1. NoSQL技術(shù)手段總結(jié) 1.1 水平分割 1.2 數(shù)據(jù)副本與讀寫一致性 1.3 In-Memory架構(gòu) 1.4 MVCC 1.5列存儲 1.6 COW 2. NoSQL技術(shù)解析 2.1 關(guān)于水平擴(kuò)展性 2.2關(guān)于模式自由 3. NoSQL與關(guān)系數(shù)據(jù)庫 3.1 理論原則分析 3.2 邏輯模型分析 3.3 物理模型分析 3.4 索引、事務(wù)與關(guān)聯(lián) 3.5 使用場景定位 3.6 企業(yè)數(shù)據(jù)體系定位 |
| Spark教程 |
1. Spark組成與體系架構(gòu) 2. Spark原理 3. Spark與Hadoop 4. Scala簡介 5. Spark技術(shù)流程 |
| 超越Hadoop |
1. Hadoop技術(shù)體系的不足與尷尬 2. 新技術(shù)介紹 3. 互聯(lián)網(wǎng)技術(shù)體系介紹 4. 數(shù)據(jù)管理技術(shù)發(fā)展趨勢分析 |
| 大數(shù)據(jù)技術(shù)實(shí)踐分享 |
1. 海量數(shù)據(jù)處理架構(gòu)設(shè)計 2. 大數(shù)據(jù)驅(qū)動與企業(yè)業(yè)務(wù)/運(yùn)營 3. 實(shí)踐中的企業(yè)大數(shù)據(jù)分析技術(shù)流程 3.1采集---各種方法的比較 3.2存儲---原始數(shù)據(jù)與業(yè)務(wù)數(shù)據(jù)提取 3.3模型---Web分析指標(biāo)體系 3.4分析---大數(shù)據(jù)分析方法 3.5 行動---個性化推薦 4. 大數(shù)據(jù)與企業(yè)交易 5. 大數(shù)據(jù)與企業(yè)交互 5. 自已設(shè)計大數(shù)據(jù)技術(shù)體系 |
| 大數(shù)據(jù)與企業(yè)新一代數(shù)據(jù)體系建設(shè) |
1.傳統(tǒng)的以關(guān)系數(shù)據(jù)庫為主的企業(yè)數(shù)據(jù)架構(gòu) 2.大數(shù)據(jù)時代的新一代企業(yè)數(shù)據(jù)邏輯架構(gòu) 2.1 數(shù)據(jù)分類 2.2 數(shù)據(jù)分布 2.3 數(shù)據(jù)流轉(zhuǎn) 2.4 數(shù)據(jù)集成 2.5 數(shù)據(jù)交換 2.6 數(shù)據(jù)分析 2.7 應(yīng)用展示 3. 新一代企業(yè)數(shù)據(jù)技術(shù)架構(gòu) 3.1邏輯架構(gòu) 3.2技術(shù)方法 3.3物理平臺 4. 新一代企業(yè)數(shù)據(jù)架構(gòu)中Hadoop/NoSQL與關(guān)系數(shù)據(jù)庫的相互配合 5. 典型場景示例 |
|
大數(shù)據(jù)時代關(guān)系數(shù)據(jù)庫的挑戰(zhàn)與應(yīng)對 1. 現(xiàn)代數(shù)據(jù)管理技術(shù)綜述 2. 關(guān)系數(shù)據(jù)庫技術(shù)的核心特征 3.主流關(guān)系數(shù)據(jù)庫的挑戰(zhàn) 4. 改進(jìn)型關(guān)系數(shù)據(jù)庫 |
|
大數(shù)據(jù)技術(shù)綜述 1. 大數(shù)據(jù)概念澄清 2. 大數(shù)據(jù)技術(shù)家族 3. NoSQL技術(shù)綜述 3.1最早的NoSQL---BDB 3.2 Hadoop之Hbase與Facebook之Cassandra 3.3 MongoDB與CouchDB 3.4Memcached與Redis 3.5圖形數(shù)據(jù)庫Neo4j 4. MapReduce 5.關(guān)系數(shù)據(jù)庫聯(lián)邦 6.海量分布式文件系統(tǒng) 7大數(shù)據(jù)技術(shù)理論基礎(chǔ) CAP，BASE，ACID |
|
Hadoop實(shí)用教程 1. Hadoop技術(shù)概論 1.1 Hadoop體系架構(gòu)總論 1.2 HDFS-工作原理與架構(gòu) 1.3 平民化的分布式計算MapReduce 1.4 MapReduce工作原理與架構(gòu) 1.5 Hadoop數(shù)據(jù)倉庫-Hive 1.6 Hadoop NoSQL數(shù)據(jù)庫-HBase 1.7 工作流調(diào)度-Ooize 1.8 分布式協(xié)調(diào)系統(tǒng)--Zookeeper 2. Hadoop部署 2.1 Hadoop版本介紹與選擇 2.2 Hadoop部署實(shí)踐 2.3 Hadoop安裝文件構(gòu)成與配置體系 2.4 機(jī)器硬件建議配置 2.5 系統(tǒng)環(huán)境配置 2.6 基本參數(shù)配置與說明 2.7 進(jìn)程分布規(guī)劃與啟動 3. 分布式文件系統(tǒng)HDFS實(shí)用教程 3.1 HDFS操作 3.2 HDFS編程—文件讀寫 3.3 HDFS數(shù)據(jù)壓縮 3.4 HDFS技術(shù)要點(diǎn) 4. MapReduce實(shí)用教程 4.1 MapReduce原理與架構(gòu) 4.2 MapReduce編程方法 4.3 MapReduce實(shí)用技術(shù)要點(diǎn) 4.4 MapReduce排序與關(guān)聯(lián) 4.5 MapReduce工作流 4.6 MapReduce調(diào)優(yōu) 5. MapReduce2.0-YARN 5.1 YARN的原理 5.2 YARN設(shè)計架構(gòu) 5.3 YARN工作流程 5.4 YARN與MapReduce1.0比較 6. MapReduce實(shí)例講解 6.1普通實(shí)例 6.2 高級實(shí)例 6.3 MapReduce高級數(shù)據(jù)分析（時間允許時） 7. Hadoop數(shù)據(jù)倉庫Hive 7.1 Hive編程 7.2 Hive環(huán)境部署與搭建 7.3 Hive工作機(jī)制 7.4 Hive語法與實(shí)踐 8. 其它ZooKeeper，Sqoop，Chukwa，Avro…… |
|
Hadoop技術(shù)分析 1. Hadoop MapReduce技術(shù)解析 6.1關(guān)于效率 6.2關(guān)于擴(kuò)展性 6.3關(guān)于可靠性與可用性 6.4關(guān)于與關(guān)系數(shù)據(jù)庫 6.5關(guān)于適用的數(shù)據(jù)類型 6.6關(guān)于數(shù)據(jù)存儲與管理 2. Hadoop與關(guān)系數(shù)據(jù)庫 2.1 MapReduce與關(guān)系數(shù)據(jù)庫 2.2 Hive與MPP關(guān)系數(shù)據(jù)庫 |
|
NoSQL實(shí)用教程 1.NoSQL理論基礎(chǔ)---CAP與BASE深入分析 2.NoSQL實(shí)用教程 2.1 HBase實(shí)用教程 2.1.1 HBase原理 2.1.2 HBase實(shí)用安裝部署要點(diǎn) 2.1.3 HBase數(shù)據(jù)模型 2.1.4 HBase索引與關(guān)聯(lián)的實(shí)現(xiàn) 2.1.5 HBase使用 2.1.6HBase性能調(diào)優(yōu) 2.1.7 HBase高級設(shè)計教程---如何真正用好HBase 2.1.8 HBase與關(guān)系數(shù)據(jù)庫結(jié)合 3. NoSQL設(shè)計實(shí)例 3.1 HBase實(shí)現(xiàn)全屬性查詢 3.2 HBase實(shí)現(xiàn)時間序列數(shù)據(jù)管理 3.3 HBase與MapReduce結(jié)合示例 4. Facebook Cassandra介紹 5.MongoDB介紹 6.圖數(shù)據(jù)庫Neo4J介紹 |
|
NoSQL技術(shù)分析 1. NoSQL技術(shù)手段總結(jié) 1.1 水平分割 1.2 數(shù)據(jù)副本與讀寫一致性 1.3 In-Memory架構(gòu) 1.4 MVCC 1.5列存儲 1.6 COW 2. NoSQL技術(shù)解析 2.1 關(guān)于水平擴(kuò)展性 2.2關(guān)于模式自由 3. NoSQL與關(guān)系數(shù)據(jù)庫 3.1 理論原則分析 3.2 邏輯模型分析 3.3 物理模型分析 3.4 索引、事務(wù)與關(guān)聯(lián) 3.5 使用場景定位 3.6 企業(yè)數(shù)據(jù)體系定位 |
|
Spark教程 1. Spark組成與體系架構(gòu) 2. Spark原理 3. Spark與Hadoop 4. Scala簡介 5. Spark技術(shù)流程 |
|
超越Hadoop 1. Hadoop技術(shù)體系的不足與尷尬 2. 新技術(shù)介紹 3. 互聯(lián)網(wǎng)技術(shù)體系介紹 4. 數(shù)據(jù)管理技術(shù)發(fā)展趨勢分析 |
|
大數(shù)據(jù)技術(shù)實(shí)踐分享 1. 海量數(shù)據(jù)處理架構(gòu)設(shè)計 2. 大數(shù)據(jù)驅(qū)動與企業(yè)業(yè)務(wù)/運(yùn)營 3. 實(shí)踐中的企業(yè)大數(shù)據(jù)分析技術(shù)流程 3.1采集---各種方法的比較 3.2存儲---原始數(shù)據(jù)與業(yè)務(wù)數(shù)據(jù)提取 3.3模型---Web分析指標(biāo)體系 3.4分析---大數(shù)據(jù)分析方法 3.5 行動---個性化推薦 4. 大數(shù)據(jù)與企業(yè)交易 5. 大數(shù)據(jù)與企業(yè)交互 5. 自已設(shè)計大數(shù)據(jù)技術(shù)體系 |
|
大數(shù)據(jù)與企業(yè)新一代數(shù)據(jù)體系建設(shè) 1.傳統(tǒng)的以關(guān)系數(shù)據(jù)庫為主的企業(yè)數(shù)據(jù)架構(gòu) 2.大數(shù)據(jù)時代的新一代企業(yè)數(shù)據(jù)邏輯架構(gòu) 2.1 數(shù)據(jù)分類 2.2 數(shù)據(jù)分布 2.3 數(shù)據(jù)流轉(zhuǎn) 2.4 數(shù)據(jù)集成 2.5 數(shù)據(jù)交換 2.6 數(shù)據(jù)分析 2.7 應(yīng)用展示 3. 新一代企業(yè)數(shù)據(jù)技術(shù)架構(gòu) 3.1邏輯架構(gòu) 3.2技術(shù)方法 3.3物理平臺 4. 新一代企業(yè)數(shù)據(jù)架構(gòu)中Hadoop/NoSQL與關(guān)系數(shù)據(jù)庫的相互配合 5. 典型場景示例 |
近期公開課推薦
