課程簡(jiǎn)介
深入理解流存儲(chǔ)技術(shù)的發(fā)展背景和趨勢(shì)。
掌握Fluss的核心設(shè)計(jì)理念、架構(gòu)和關(guān)鍵特性。
熟悉Fluss與流計(jì)算引擎的集成方式。
了解如何使用Fluss構(gòu)建流式數(shù)據(jù)湖。
掌握基于Fluss的流分析應(yīng)用開發(fā)。
了解Apache Paimon等相關(guān)技術(shù)，并比較其優(yōu)劣。
目標(biāo)收益
培訓(xùn)對(duì)象
數(shù)據(jù)工程師、流計(jì)算工程師、數(shù)據(jù)架構(gòu)師、以及對(duì)新一代流存儲(chǔ)技術(shù)感興趣的技術(shù)人員
課程大綱
|
第一天：流存儲(chǔ)技術(shù)概覽與Fluss核心原理 模塊 1：流數(shù)據(jù)處理背景與挑戰(zhàn) (上午) |
流數(shù)據(jù)的定義、特點(diǎn)和應(yīng)用場(chǎng)景 傳統(tǒng)流數(shù)據(jù)處理架構(gòu)的局限性：高延遲、低可靠性、難擴(kuò)展 流存儲(chǔ)技術(shù)的發(fā)展趨勢(shì)：實(shí)時(shí)化、湖倉(cāng)一體化、云原生化 新一代流存儲(chǔ)技術(shù)的關(guān)鍵需求：高吞吐、低延遲、強(qiáng)一致性、易擴(kuò)展 |
| 模塊 2：Fluss核心設(shè)計(jì)理念與架構(gòu) (上午) |
Fluss的設(shè)計(jì)目標(biāo)：構(gòu)建高性能、高可靠、低成本的流存儲(chǔ)系統(tǒng) Fluss的核心設(shè)計(jì)理念：Log-structured Merge Tree (LSM Tree) 的優(yōu)化與改進(jìn) Fluss的整體架構(gòu)：存儲(chǔ)層、索引層、元數(shù)據(jù)層、API層 Fluss的關(guān)鍵組件：Write Buffer、SSTable、Compaction、WAL (Write-Ahead Log) 動(dòng)手實(shí)踐：分析Fluss架構(gòu)圖，理解各組件之間的交互關(guān)系 |
| 模塊 3：Fluss關(guān)鍵特性解析 (下午) |
Fluss的高吞吐寫入優(yōu)化：多線程并發(fā)寫入、WAL機(jī)制、零拷貝技術(shù) Fluss的低延遲讀取優(yōu)化：Bloom Filter、索引技術(shù)、Compaction策略 Fluss的數(shù)據(jù)一致性保證：ACID事務(wù)、Snapshot Isolation Fluss的可擴(kuò)展性設(shè)計(jì)：分片、副本、自動(dòng)負(fù)載均衡 Fluss的容錯(cuò)性機(jī)制：數(shù)據(jù)備份、故障恢復(fù) 動(dòng)手實(shí)踐：討論并設(shè)計(jì)針對(duì)特定場(chǎng)景的Fluss配置參數(shù) |
| 模塊 4：Fluss安裝部署與基本使用 (下午) |
Fluss的安裝部署方式：本地部署、集群部署、云端部署 Fluss的配置參數(shù)詳解：存儲(chǔ)路徑、緩存大小、線程數(shù) Fluss的基本API使用：寫入數(shù)據(jù)、讀取數(shù)據(jù)、刪除數(shù)據(jù) Fluss的監(jiān)控與運(yùn)維：日志分析、性能指標(biāo)、故障診斷 動(dòng)手實(shí)踐：搭建Fluss本地環(huán)境，并進(jìn)行簡(jiǎn)單的數(shù)據(jù)讀寫操作 |
|
第二天：Fluss與流計(jì)算引擎集成及流式數(shù)據(jù)湖構(gòu)建 模塊 5：Fluss與主流流計(jì)算引擎集成 (上午) |
Fluss與Apache Flink的集成：Connector開發(fā)、數(shù)據(jù)格式轉(zhuǎn)換 Fluss與Apache Spark Streaming的集成：RDD轉(zhuǎn)換、數(shù)據(jù)源適配 Fluss與其他流計(jì)算引擎的集成：Kafka Streams, Apache Beam 集成模式選擇：根據(jù)業(yè)務(wù)需求和技術(shù)棧 動(dòng)手實(shí)踐：使用Flink消費(fèi)Fluss中的數(shù)據(jù)并進(jìn)行簡(jiǎn)單處理 |
| 模塊 6：使用Fluss構(gòu)建流式數(shù)據(jù)湖 (上午) |
流式數(shù)據(jù)湖的概念與優(yōu)勢(shì)：實(shí)時(shí)數(shù)據(jù)集成、低成本存儲(chǔ)、靈活分析 基于Fluss的流式數(shù)據(jù)湖架構(gòu)設(shè)計(jì)：數(shù)據(jù)攝取、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理、數(shù)據(jù)分析 Fluss在流式數(shù)據(jù)湖中的角色：提供高性能、高可靠的流存儲(chǔ) 數(shù)據(jù)湖元數(shù)據(jù)管理：Apache Hive Metastore, AWS Glue Data Catalog 數(shù)據(jù)湖安全與治理：權(quán)限控制、數(shù)據(jù)加密、數(shù)據(jù)血緣 動(dòng)手實(shí)踐：設(shè)計(jì)基于Fluss的流式數(shù)據(jù)湖架構(gòu)，并討論關(guān)鍵技術(shù)選型 |
| 模塊 7：流式數(shù)據(jù)湖架構(gòu)設(shè)計(jì)與演進(jìn) (下午) |
Lambda架構(gòu)：實(shí)時(shí)與離線并存，數(shù)據(jù)一致性挑戰(zhàn) Kappa架構(gòu)：簡(jiǎn)化架構(gòu)，依賴強(qiáng)一致性流存儲(chǔ) 湖倉(cāng)一體架構(gòu)：Delta Lake, Apache Iceberg, Apache Hudi，提供事務(wù)性更新與查詢 基于Fluss的湖倉(cāng)一體架構(gòu)：利用Fluss作為實(shí)時(shí)數(shù)據(jù)源 動(dòng)手實(shí)踐：比較不同架構(gòu)的優(yōu)缺點(diǎn)，并討論適用于特定場(chǎng)景的架構(gòu)方案 |
| 模塊 8：基于Fluss的流分析應(yīng)用開發(fā) (下午) |
流分析的應(yīng)用場(chǎng)景：實(shí)時(shí)監(jiān)控、異常檢測(cè)、趨勢(shì)預(yù)測(cè) 流分析的技術(shù)選型：CEP (Complex Event Processing), Time Series Database 使用CEP引擎分析Fluss中的數(shù)據(jù)：Apache Flink CEP, Esper 使用時(shí)序數(shù)據(jù)庫(kù)存儲(chǔ)和分析Fluss中的數(shù)據(jù)：InfluxDB, TimescaleDB 動(dòng)手實(shí)踐：使用Flink CEP分析Fluss中的數(shù)據(jù)并進(jìn)行異常檢測(cè) |
|
第三天：Fluss與其他流存儲(chǔ)技術(shù)對(duì)比及高級(jí)應(yīng)用 模塊 9：Apache Paimon技術(shù)解析 (上午) |
Apache Paimon的介紹：統(tǒng)一流式和批量處理的數(shù)據(jù)湖存儲(chǔ) Paimon的核心特性：Schema Evolution, Upsert/Delete, Change Data Capture (CDC) Paimon的架構(gòu)設(shè)計(jì)：Catalog, Table Format, File System Paimon與Flink的集成：Streaming Sink, Source, Lookup Join 動(dòng)手實(shí)踐：部署Paimon環(huán)境，并體驗(yàn)其核心功能 |
| 模塊 10：Fluss vs. Paimon vs. 其他流存儲(chǔ)技術(shù) (上午) |
Fluss、Paimon、Kafka Streams、Apache Hudi等技術(shù)的對(duì)比分析 對(duì)比維度：性能、一致性、可擴(kuò)展性、易用性、社區(qū)活躍度 選擇合適的流存儲(chǔ)技術(shù)：根據(jù)業(yè)務(wù)需求和技術(shù)棧 技術(shù)選型建議：針對(duì)不同應(yīng)用場(chǎng)景給出具體建議 |
| 模塊 11：Fluss高級(jí)特性與調(diào)優(yōu) (下午) |
Fluss的Compaction策略優(yōu)化：Tiered Compaction, Leveled Compaction Fluss的內(nèi)存管理優(yōu)化：Write Buffer大小、Cache策略 Fluss的IO調(diào)度優(yōu)化：磁盤調(diào)度算法、IO優(yōu)先級(jí) Fluss的監(jiān)控與報(bào)警：Prometheus, Grafana 性能測(cè)試與基準(zhǔn)測(cè)試：JMH, YCSB 動(dòng)手實(shí)踐：對(duì)Fluss進(jìn)行性能調(diào)優(yōu)，并使用基準(zhǔn)測(cè)試工具評(píng)估效果 |
| 模塊 12：Fluss在實(shí)際場(chǎng)景中的應(yīng)用 (下午) |
案例1：構(gòu)建高吞吐的日志收集系統(tǒng) 案例2：構(gòu)建實(shí)時(shí)風(fēng)控系統(tǒng) 案例3：構(gòu)建流式推薦系統(tǒng) 案例分析：技術(shù)架構(gòu)、實(shí)施步驟、挑戰(zhàn)與解決方案 Fluss的未來(lái)發(fā)展趨勢(shì)：云原生、智能化、多模態(tài) 開放討論：學(xué)員分享實(shí)際工作中的流數(shù)據(jù)處理需求，探討如何使用Fluss解決問(wèn)題 |
|
可選模塊 (根據(jù)客戶需求調(diào)整) Fluss源碼分析 |
深入剖析Fluss的源碼實(shí)現(xiàn) 理解關(guān)鍵組件的內(nèi)部邏輯 學(xué)習(xí)如何貢獻(xiàn)代碼到Fluss社區(qū) |
| Fluss與云原生技術(shù)集成 |
在Kubernetes上部署Fluss 使用Docker容器化Fluss應(yīng)用 使用服務(wù)網(wǎng)格管理Fluss流量 |
| Fluss安全與治理高級(jí)議題 |
數(shù)據(jù)加密與訪問(wèn)控制 數(shù)據(jù)血緣與數(shù)據(jù)質(zhì)量 符合GDPR等合規(guī)要求 |
|
第一天：流存儲(chǔ)技術(shù)概覽與Fluss核心原理 模塊 1：流數(shù)據(jù)處理背景與挑戰(zhàn) (上午) 流數(shù)據(jù)的定義、特點(diǎn)和應(yīng)用場(chǎng)景 傳統(tǒng)流數(shù)據(jù)處理架構(gòu)的局限性：高延遲、低可靠性、難擴(kuò)展 流存儲(chǔ)技術(shù)的發(fā)展趨勢(shì)：實(shí)時(shí)化、湖倉(cāng)一體化、云原生化 新一代流存儲(chǔ)技術(shù)的關(guān)鍵需求：高吞吐、低延遲、強(qiáng)一致性、易擴(kuò)展 |
|
模塊 2：Fluss核心設(shè)計(jì)理念與架構(gòu) (上午) Fluss的設(shè)計(jì)目標(biāo)：構(gòu)建高性能、高可靠、低成本的流存儲(chǔ)系統(tǒng) Fluss的核心設(shè)計(jì)理念：Log-structured Merge Tree (LSM Tree) 的優(yōu)化與改進(jìn) Fluss的整體架構(gòu)：存儲(chǔ)層、索引層、元數(shù)據(jù)層、API層 Fluss的關(guān)鍵組件：Write Buffer、SSTable、Compaction、WAL (Write-Ahead Log) 動(dòng)手實(shí)踐：分析Fluss架構(gòu)圖，理解各組件之間的交互關(guān)系 |
|
模塊 3：Fluss關(guān)鍵特性解析 (下午) Fluss的高吞吐寫入優(yōu)化：多線程并發(fā)寫入、WAL機(jī)制、零拷貝技術(shù) Fluss的低延遲讀取優(yōu)化：Bloom Filter、索引技術(shù)、Compaction策略 Fluss的數(shù)據(jù)一致性保證：ACID事務(wù)、Snapshot Isolation Fluss的可擴(kuò)展性設(shè)計(jì)：分片、副本、自動(dòng)負(fù)載均衡 Fluss的容錯(cuò)性機(jī)制：數(shù)據(jù)備份、故障恢復(fù) 動(dòng)手實(shí)踐：討論并設(shè)計(jì)針對(duì)特定場(chǎng)景的Fluss配置參數(shù) |
|
模塊 4：Fluss安裝部署與基本使用 (下午) Fluss的安裝部署方式：本地部署、集群部署、云端部署 Fluss的配置參數(shù)詳解：存儲(chǔ)路徑、緩存大小、線程數(shù) Fluss的基本API使用：寫入數(shù)據(jù)、讀取數(shù)據(jù)、刪除數(shù)據(jù) Fluss的監(jiān)控與運(yùn)維：日志分析、性能指標(biāo)、故障診斷 動(dòng)手實(shí)踐：搭建Fluss本地環(huán)境，并進(jìn)行簡(jiǎn)單的數(shù)據(jù)讀寫操作 |
|
第二天：Fluss與流計(jì)算引擎集成及流式數(shù)據(jù)湖構(gòu)建 模塊 5：Fluss與主流流計(jì)算引擎集成 (上午) Fluss與Apache Flink的集成：Connector開發(fā)、數(shù)據(jù)格式轉(zhuǎn)換 Fluss與Apache Spark Streaming的集成：RDD轉(zhuǎn)換、數(shù)據(jù)源適配 Fluss與其他流計(jì)算引擎的集成：Kafka Streams, Apache Beam 集成模式選擇：根據(jù)業(yè)務(wù)需求和技術(shù)棧 動(dòng)手實(shí)踐：使用Flink消費(fèi)Fluss中的數(shù)據(jù)并進(jìn)行簡(jiǎn)單處理 |
|
模塊 6：使用Fluss構(gòu)建流式數(shù)據(jù)湖 (上午) 流式數(shù)據(jù)湖的概念與優(yōu)勢(shì)：實(shí)時(shí)數(shù)據(jù)集成、低成本存儲(chǔ)、靈活分析 基于Fluss的流式數(shù)據(jù)湖架構(gòu)設(shè)計(jì)：數(shù)據(jù)攝取、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理、數(shù)據(jù)分析 Fluss在流式數(shù)據(jù)湖中的角色：提供高性能、高可靠的流存儲(chǔ) 數(shù)據(jù)湖元數(shù)據(jù)管理：Apache Hive Metastore, AWS Glue Data Catalog 數(shù)據(jù)湖安全與治理：權(quán)限控制、數(shù)據(jù)加密、數(shù)據(jù)血緣 動(dòng)手實(shí)踐：設(shè)計(jì)基于Fluss的流式數(shù)據(jù)湖架構(gòu)，并討論關(guān)鍵技術(shù)選型 |
|
模塊 7：流式數(shù)據(jù)湖架構(gòu)設(shè)計(jì)與演進(jìn) (下午) Lambda架構(gòu)：實(shí)時(shí)與離線并存，數(shù)據(jù)一致性挑戰(zhàn) Kappa架構(gòu)：簡(jiǎn)化架構(gòu)，依賴強(qiáng)一致性流存儲(chǔ) 湖倉(cāng)一體架構(gòu)：Delta Lake, Apache Iceberg, Apache Hudi，提供事務(wù)性更新與查詢 基于Fluss的湖倉(cāng)一體架構(gòu)：利用Fluss作為實(shí)時(shí)數(shù)據(jù)源 動(dòng)手實(shí)踐：比較不同架構(gòu)的優(yōu)缺點(diǎn)，并討論適用于特定場(chǎng)景的架構(gòu)方案 |
|
模塊 8：基于Fluss的流分析應(yīng)用開發(fā) (下午) 流分析的應(yīng)用場(chǎng)景：實(shí)時(shí)監(jiān)控、異常檢測(cè)、趨勢(shì)預(yù)測(cè) 流分析的技術(shù)選型：CEP (Complex Event Processing), Time Series Database 使用CEP引擎分析Fluss中的數(shù)據(jù)：Apache Flink CEP, Esper 使用時(shí)序數(shù)據(jù)庫(kù)存儲(chǔ)和分析Fluss中的數(shù)據(jù)：InfluxDB, TimescaleDB 動(dòng)手實(shí)踐：使用Flink CEP分析Fluss中的數(shù)據(jù)并進(jìn)行異常檢測(cè) |
|
第三天：Fluss與其他流存儲(chǔ)技術(shù)對(duì)比及高級(jí)應(yīng)用 模塊 9：Apache Paimon技術(shù)解析 (上午) Apache Paimon的介紹：統(tǒng)一流式和批量處理的數(shù)據(jù)湖存儲(chǔ) Paimon的核心特性：Schema Evolution, Upsert/Delete, Change Data Capture (CDC) Paimon的架構(gòu)設(shè)計(jì)：Catalog, Table Format, File System Paimon與Flink的集成：Streaming Sink, Source, Lookup Join 動(dòng)手實(shí)踐：部署Paimon環(huán)境，并體驗(yàn)其核心功能 |
|
模塊 10：Fluss vs. Paimon vs. 其他流存儲(chǔ)技術(shù) (上午) Fluss、Paimon、Kafka Streams、Apache Hudi等技術(shù)的對(duì)比分析 對(duì)比維度：性能、一致性、可擴(kuò)展性、易用性、社區(qū)活躍度 選擇合適的流存儲(chǔ)技術(shù)：根據(jù)業(yè)務(wù)需求和技術(shù)棧 技術(shù)選型建議：針對(duì)不同應(yīng)用場(chǎng)景給出具體建議 |
|
模塊 11：Fluss高級(jí)特性與調(diào)優(yōu) (下午) Fluss的Compaction策略優(yōu)化：Tiered Compaction, Leveled Compaction Fluss的內(nèi)存管理優(yōu)化：Write Buffer大小、Cache策略 Fluss的IO調(diào)度優(yōu)化：磁盤調(diào)度算法、IO優(yōu)先級(jí) Fluss的監(jiān)控與報(bào)警：Prometheus, Grafana 性能測(cè)試與基準(zhǔn)測(cè)試：JMH, YCSB 動(dòng)手實(shí)踐：對(duì)Fluss進(jìn)行性能調(diào)優(yōu)，并使用基準(zhǔn)測(cè)試工具評(píng)估效果 |
|
模塊 12：Fluss在實(shí)際場(chǎng)景中的應(yīng)用 (下午) 案例1：構(gòu)建高吞吐的日志收集系統(tǒng) 案例2：構(gòu)建實(shí)時(shí)風(fēng)控系統(tǒng) 案例3：構(gòu)建流式推薦系統(tǒng) 案例分析：技術(shù)架構(gòu)、實(shí)施步驟、挑戰(zhàn)與解決方案 Fluss的未來(lái)發(fā)展趨勢(shì)：云原生、智能化、多模態(tài) 開放討論：學(xué)員分享實(shí)際工作中的流數(shù)據(jù)處理需求，探討如何使用Fluss解決問(wèn)題 |
|
可選模塊 (根據(jù)客戶需求調(diào)整) Fluss源碼分析 深入剖析Fluss的源碼實(shí)現(xiàn) 理解關(guān)鍵組件的內(nèi)部邏輯 學(xué)習(xí)如何貢獻(xiàn)代碼到Fluss社區(qū) |
|
Fluss與云原生技術(shù)集成 在Kubernetes上部署Fluss 使用Docker容器化Fluss應(yīng)用 使用服務(wù)網(wǎng)格管理Fluss流量 |
|
Fluss安全與治理高級(jí)議題 數(shù)據(jù)加密與訪問(wèn)控制 數(shù)據(jù)血緣與數(shù)據(jù)質(zhì)量 符合GDPR等合規(guī)要求 |
近期公開課推薦
