課程簡(jiǎn)介
以Flink為核心技術(shù)來(lái)介紹當(dāng)前最先進(jìn)的流式處理架構(gòu)和編程模型;詳細(xì)拆解了Flink的流式計(jì)算中的幾個(gè)重要技術(shù)點(diǎn),如Window聚合計(jì)算、狀態(tài)與容錯(cuò)機(jī)制等;以生產(chǎn)環(huán)境的流式應(yīng)用為背景,介紹常見(jiàn)的問(wèn)題和最優(yōu)的解決方案;Flink在各個(gè)一線互聯(lián)網(wǎng)的典型應(yīng)用,如阿里、騰訊、微博等。
目標(biāo)收益
學(xué)員通過(guò)實(shí)踐本課程,能夠熟悉大數(shù)據(jù)行業(yè)和分布式系統(tǒng)的技術(shù)核心知識(shí)點(diǎn);通過(guò)Flink知識(shí)的學(xué)習(xí),能夠掌握大數(shù)據(jù)應(yīng)用的開(kāi)發(fā)和運(yùn)維能力,并能夠掌握海量數(shù)據(jù)處理的編碼和性能調(diào)優(yōu)經(jīng)驗(yàn)。讓學(xué)員能夠從0到1獨(dú)立完成Flink流式計(jì)算的程序編寫和功能、性能上的調(diào)優(yōu);熟悉中國(guó)Top5互聯(lián)網(wǎng)企業(yè)(如阿里巴巴,騰訊)的大數(shù)據(jù)平臺(tái)中Flink的技術(shù)的應(yīng)用案例和最佳實(shí)踐。
培訓(xùn)對(duì)象
本課程不僅適合大數(shù)據(jù) Hadoop, Flink, Spark 相關(guān)從業(yè)人員,同時(shí)也適合熱愛(ài)或者希望未來(lái)從事大數(shù)據(jù)相關(guān)工作的在校學(xué)生,軟件開(kāi)發(fā)工程師,運(yùn)維工程師以及架構(gòu)師學(xué)習(xí)。通過(guò)本課程,學(xué)員將能夠快速熟悉和掌握大數(shù)據(jù)利器Flink,尤其是流式計(jì)算的核心技術(shù),在生產(chǎn)中解決實(shí)際問(wèn)題。
課程內(nèi)容
1. 流式處理架構(gòu)
1.1 流式處理背景及架構(gòu)介紹
1.2 流式處理行業(yè)案例以及Flink的適用場(chǎng)景及應(yīng)用概述
1.3 Flink 與 Spark的比較以及為什么選擇Flink
1.4 Flink流式計(jì)算的編程模型[1]:DataStream API
1.5 Flink流式計(jì)算的編程模型[2]:FlinkSQL與UDF
2. Flink流式處理核心技術(shù)
2.1 三種Time與Watermark
2.2 Window窗口有狀態(tài)聚合計(jì)算詳解
2.3 開(kāi)發(fā)自己的Flink Connector(Source & Sink)
2.4 看懂Flink WebUI和Flink Metrics體系
2.5 常見(jiàn)Flink Connector(Kafka,Elasticsearch,HDFS)的使用與調(diào)優(yōu)
2.6 Flink的Exactly-Once處理、狀態(tài)維護(hù)與容錯(cuò)機(jī)制。
2.7 Flink 流式處理時(shí)的反壓機(jī)制
3. 流式計(jì)算常見(jiàn)問(wèn)題的技術(shù)方案:
3.1 如何處理亂序和延遲的數(shù)據(jù)?
3.2 海量數(shù)據(jù)規(guī)模下的性能調(diào)優(yōu)?
3.3 雙流Join怎么用?
3.4 實(shí)時(shí)數(shù)據(jù)與緯度表關(guān)聯(lián)怎么樣做最高效?
3.5 如何在Flink中實(shí)現(xiàn)業(yè)務(wù)計(jì)算邏輯動(dòng)態(tài)更新?
3.6 窗口聚合數(shù)據(jù)希望盡早輸出怎么辦?
4. Flink在各大互聯(lián)網(wǎng)公司的典型應(yīng)用剖析
4.1 Flink在阿里、騰訊、微博的應(yīng)用
4.2 Flink在短視頻直播用戶行為分析的實(shí)戰(zhàn)