課程簡(jiǎn)介

以Flink為核心技術(shù)來(lái)介紹當(dāng)前最先進(jìn)的流式處理架構(gòu)和編程模型；詳細(xì)拆解了Flink的流式計(jì)算中的幾個(gè)重要技術(shù)點(diǎn)，如Window聚合計(jì)算、狀態(tài)與容錯(cuò)機(jī)制等；以生產(chǎn)環(huán)境的流式應(yīng)用為背景，介紹常見(jiàn)的問(wèn)題和最優(yōu)的解決方案；Flink在各個(gè)一線互聯(lián)網(wǎng)的典型應(yīng)用，如阿里、騰訊、微博等。

目標(biāo)收益

學(xué)員通過(guò)實(shí)踐本課程，能夠熟悉大數(shù)據(jù)行業(yè)和分布式系統(tǒng)的技術(shù)核心知識(shí)點(diǎn)；通過(guò)Flink知識(shí)的學(xué)習(xí)，能夠掌握大數(shù)據(jù)應(yīng)用的開(kāi)發(fā)和運(yùn)維能力，并能夠掌握海量數(shù)據(jù)處理的編碼和性能調(diào)優(yōu)經(jīng)驗(yàn)。讓學(xué)員能夠從0到1獨(dú)立完成Flink流式計(jì)算的程序編寫和功能、性能上的調(diào)優(yōu)；熟悉中國(guó)Top5互聯(lián)網(wǎng)企業(yè)（如阿里巴巴，騰訊）的大數(shù)據(jù)平臺(tái)中Flink的技術(shù)的應(yīng)用案例和最佳實(shí)踐。

培訓(xùn)對(duì)象

本課程不僅適合大數(shù)據(jù) Hadoop, Flink, Spark 相關(guān)從業(yè)人員，同時(shí)也適合熱愛(ài)或者希望未來(lái)從事大數(shù)據(jù)相關(guān)工作的在校學(xué)生，軟件開(kāi)發(fā)工程師，運(yùn)維工程師以及架構(gòu)師學(xué)習(xí)。通過(guò)本課程，學(xué)員將能夠快速熟悉和掌握大數(shù)據(jù)利器Flink，尤其是流式計(jì)算的核心技術(shù)，在生產(chǎn)中解決實(shí)際問(wèn)題。

課程內(nèi)容

1. 流式處理架構(gòu)

1.1 流式處理背景及架構(gòu)介紹

1.2 流式處理行業(yè)案例以及Flink的適用場(chǎng)景及應(yīng)用概述

1.3 Flink 與 Spark的比較以及為什么選擇Flink

1.4 Flink流式計(jì)算的編程模型[1]：DataStream API

1.5 Flink流式計(jì)算的編程模型[2]：FlinkSQL與UDF



2. Flink流式處理核心技術(shù)

2.1 三種Time與Watermark

2.2 Window窗口有狀態(tài)聚合計(jì)算詳解

2.3 開(kāi)發(fā)自己的Flink Connector(Source & Sink)

2.4 看懂Flink WebUI和Flink Metrics體系

2.5 常見(jiàn)Flink Connector(Kafka，Elasticsearch，HDFS)的使用與調(diào)優(yōu)

2.6 Flink的Exactly-Once處理、狀態(tài)維護(hù)與容錯(cuò)機(jī)制。

2.7 Flink 流式處理時(shí)的反壓機(jī)制



3. 流式計(jì)算常見(jiàn)問(wèn)題的技術(shù)方案：

3.1 如何處理亂序和延遲的數(shù)據(jù)？

3.2 海量數(shù)據(jù)規(guī)模下的性能調(diào)優(yōu)？

3.3 雙流Join怎么用？

3.4 實(shí)時(shí)數(shù)據(jù)與緯度表關(guān)聯(lián)怎么樣做最高效？

3.5 如何在Flink中實(shí)現(xiàn)業(yè)務(wù)計(jì)算邏輯動(dòng)態(tài)更新？

3.6 窗口聚合數(shù)據(jù)希望盡早輸出怎么辦？



4. Flink在各大互聯(lián)網(wǎng)公司的典型應(yīng)用剖析

4.1 Flink在阿里、騰訊、微博的應(yīng)用

4.2 Flink在短視頻直播用戶行為分析的實(shí)戰(zhàn)