Jason
0 ? $score . '分' : '10.0分' ?>互聯(lián)網(wǎng)
大數(shù)據(jù)
Java
數(shù)據(jù)庫(kù)
訪問次數(shù)
6191
反饋數(shù)量
0
關(guān)于教練
多年Kafka/Hadoop/Spark研究、應(yīng)用及調(diào)優(yōu)經(jīng)驗(yàn)?，F(xiàn)從事大數(shù)據(jù)平臺(tái)優(yōu)化工作。 高性能Java應(yīng)用架構(gòu)與設(shè)計(jì)
敏捷團(tuán)隊(duì)建設(shè)與管理
數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)與優(yōu)化
分布式應(yīng)用架構(gòu)與開發(fā)
大數(shù)據(jù)系統(tǒng)（如Kafka、Hadoop和Spark）架構(gòu)與開發(fā)
課程
-
大數(shù)據(jù)平臺(tái)Spark的原理分析與實(shí)戰(zhàn)演練
a) 鑒于一般Spark不會(huì)單獨(dú)使用，而是與Hadoop一起使用，因此該課程首先簡(jiǎn)單闡述HDFS與Yarn的關(guān)鍵技術(shù)與高可用及水平擴(kuò)展方案
b) 結(jié)合精典案例講解一個(gè)Spark Job的整個(gè)生命周期，以及如何劃分Stage，如何生成邏輯執(zhí)行計(jì)劃和物理執(zhí)行計(jì)劃
c) 從Hash Shuffle到Sort Shuffle再到Tungsten Sort Shuffle詳細(xì)分析Spark Shuffle機(jī)制的原理與演進(jìn)
d) 結(jié)合Yarn分析Spark的內(nèi)存模型以及如何進(jìn)行相關(guān)調(diào)優(yōu)
e) 介紹Spark Streaming使用方式，分析通用流式處理系統(tǒng)的關(guān)鍵問題以及Spark Streaming對(duì)相應(yīng)問題的解決方案，如窗口，亂序，Checkpoint等，并分析Spark Streaming與Storm和Kafka Stream各自的優(yōu)缺點(diǎn)和適用場(chǎng)景
f) 結(jié)合源碼分析Spark SQL的原理，以及實(shí)現(xiàn)SQL引擎的一般方法，并介紹如何進(jìn)行Spark SQL性能優(yōu)化
g) 結(jié)合電影推薦系統(tǒng)這一案例，介紹如何使用Spark MLlib解決機(jī)器學(xué)習(xí)問題
h) 結(jié)合大量真實(shí)案例，分析如何解決數(shù)據(jù)傾斜問題從而提高應(yīng)用性能
暫無課程排期架構(gòu)師 -
分布式消息系統(tǒng)Kafka架構(gòu)分析與應(yīng)用
a) 結(jié)合實(shí)戰(zhàn)分析大數(shù)據(jù)系統(tǒng)的基石——Zookeeper的實(shí)現(xiàn)原理以及典型使用場(chǎng)景，如分布式配置管理，領(lǐng)導(dǎo)選舉，分布式鎖
b) 分析分布式系統(tǒng)的消息路由策略以及如何解決數(shù)據(jù)傾斜問題
c) 從Kafka 0.8到0.10的數(shù)據(jù)復(fù)制與領(lǐng)導(dǎo)選舉策略的演進(jìn)，分析通用分布式系統(tǒng)中典型的復(fù)制與領(lǐng)導(dǎo)選舉的關(guān)鍵技術(shù)及解決方案
d) 分析Kafka 0.8到0.10的Consumer Group Rebalance方案的演進(jìn)——從分布式“自各為政”選舉到集中式“統(tǒng)一決策”選舉
e) 分析流式處理系統(tǒng)的新貴——Kafka Stream的原理及其與其它流式處理系統(tǒng)的區(qū)別
f) 介紹Kafka Producer/Consumer的用法
g) 介紹如何使用Kafka實(shí)現(xiàn)正好一次（Exactly Once）處理語義
h) 介紹Kafka Stream的使用注意事項(xiàng)
i) 介紹如何將Kafka與其它主流分布式系統(tǒng)，如Hadoop、Spark，集成
暫無課程排期架構(gòu)師
大會(huì)議題
訪問次數(shù)
6191
反饋數(shù)量
相關(guān)教練
