課程費用

5800.00 /人

課程時長

2

成為教練

課程簡介

a) 結合實戰(zhàn)分析大數據系統(tǒng)的基石——Zookeeper的實現原理以及典型使用場景,如分布式配置管理,領導選舉,分布式鎖
b) 分析分布式系統(tǒng)的消息路由策略以及如何解決數據傾斜問題
c) 從Kafka 0.8到0.10的數據復制與領導選舉策略的演進,分析通用分布式系統(tǒng)中典型的復制與領導選舉的關鍵技術及解決方案
d) 分析Kafka 0.8到0.10的Consumer Group Rebalance方案的演進——從分布式“自各為政”選舉到集中式“統(tǒng)一決策”選舉
e) 分析流式處理系統(tǒng)的新貴——Kafka Stream的原理及其與其它流式處理系統(tǒng)的區(qū)別
f) 介紹Kafka Producer/Consumer的用法
g) 介紹如何使用Kafka實現正好一次(Exactly Once)處理語義
h) 介紹Kafka Stream的使用注意事項
i) 介紹如何將Kafka與其它主流分布式系統(tǒng),如Hadoop、Spark,集成

目標收益

a) 掌握Kafka的Producer/Consumer的用法及與其它系統(tǒng)集成的方案
b) 初步掌握如何使用Kafka Stream開發(fā)流式處理應用
c) 掌握Kafka的復制和領導選舉策略,并了解分布式系統(tǒng)一致性解決方案
d) 能夠理解并掌握分布式產品選型方法

培訓對象

a) 大數據產品開發(fā)工程師
b) 大數據運維工程師
c) 大數據架構師

課程大綱

Kafka架構 1.1 Kafka整體架構
1.2 Topic & Partition
1.3 Producer最佳實踐
1.4 消息路由之自定義Partitioner
1.5 兩種不同的Consumer用法
Kafka高可用原理 2.1 Kafka面臨的CAP問題
2.2 高可用下的數據分發(fā)
2.3 動態(tài)平衡策略ISR
2.4 基于Zookeeper的領導選舉方案
2.5 Failover原理
Consumer Rebalance方案演進
Kafka Stream

3.1 為什么需要Rebalance
3.2 Rebalance實現的效果
3.3 自治式Rebalance原理及問題
3.4 集中式Rebalance實現原理
3.5 應用程序如何處理Consumer Rebalance
Kafka Stream 4.1 Kafka Stream架構
4.2 Kafka Stream并發(fā)模型
4.3 實現Topology的兩種方式
4.4 窗口和Join原理與可恢復性保障
4.5 Kafka Stream與其它流式處理系統(tǒng)的異同

Kafka運維與如何實現正好一次
5.1 重新分配Replica
5.2 Preferred Replica Leader Election
5.3 兩階段提交實現正好一次
5.4 冪等操作實現正好一次
5.5 數據處理與offset管理放在同一事務實現正好一次
Kafka架構
1.1 Kafka整體架構
1.2 Topic & Partition
1.3 Producer最佳實踐
1.4 消息路由之自定義Partitioner
1.5 兩種不同的Consumer用法
Kafka高可用原理
2.1 Kafka面臨的CAP問題
2.2 高可用下的數據分發(fā)
2.3 動態(tài)平衡策略ISR
2.4 基于Zookeeper的領導選舉方案
2.5 Failover原理
Consumer Rebalance方案演進
Kafka Stream


3.1 為什么需要Rebalance
3.2 Rebalance實現的效果
3.3 自治式Rebalance原理及問題
3.4 集中式Rebalance實現原理
3.5 應用程序如何處理Consumer Rebalance
Kafka Stream
4.1 Kafka Stream架構
4.2 Kafka Stream并發(fā)模型
4.3 實現Topology的兩種方式
4.4 窗口和Join原理與可恢復性保障
4.5 Kafka Stream與其它流式處理系統(tǒng)的異同

Kafka運維與如何實現正好一次
5.1 重新分配Replica
5.2 Preferred Replica Leader Election
5.3 兩階段提交實現正好一次
5.4 冪等操作實現正好一次
5.5 數據處理與offset管理放在同一事務實現正好一次

課程費用

5800.00 /人

課程時長

2

預約體驗票 我要分享

近期公開課推薦

近期公開課推薦

活動詳情

提交需求