課程簡介
課程將詳細介紹數(shù)據(jù)架構的發(fā)展、典型數(shù)據(jù)倉庫架構、湖倉一體數(shù)據(jù)架構及其工具。重點講解Hudi技術在湖倉一體架構中的應用，并通過Flink+Hudi構建湖倉一體數(shù)據(jù)平臺的案例分享，加深理解。此外，還將通過實戰(zhàn)案例，探討湖倉一體數(shù)據(jù)底座的構建方法，包括數(shù)據(jù)域劃分、指標體系構建等。本課程適合大數(shù)據(jù)架構師、數(shù)據(jù)工程師等角色，旨在提升學員在湖倉一體架構設計和落地方面的能力。
目標收益
培訓對象
課程大綱
| 數(shù)據(jù)架構的發(fā)展 |
離線數(shù)倉解決方案 實時數(shù)倉數(shù)倉解決方案 新一代數(shù)倉---數(shù)據(jù)中臺概念及架構 湖倉一體數(shù)據(jù)架構解決方案 實時OLAP數(shù)據(jù)平臺架構方案 基于Flink構建實時數(shù)據(jù)平臺的解決方案 基于Flink構建湖倉一體數(shù)據(jù)平臺的解決方案 |
| 數(shù)據(jù)架構設計架構 |
數(shù)據(jù)倉庫典型架構介紹 —ODS層 —DW層 —DM層 數(shù)據(jù)安全控制 ETL任務調度 |
| 湖倉一體數(shù)據(jù)架構 |
數(shù)據(jù)接入大數(shù)據(jù)平臺 —離線數(shù)據(jù)接入 —實時的數(shù)據(jù)接入 數(shù)據(jù)處理過程 —數(shù)據(jù)的ETL —數(shù)據(jù)分層(ODS、DW和DM等) —數(shù)據(jù)建模 —數(shù)據(jù)校驗 數(shù)據(jù)應用 —數(shù)據(jù)離線應用 —數(shù)據(jù)實時應用 —數(shù)據(jù)實驗室 —數(shù)據(jù)展示工具(BI工具) |
| 湖倉一體工具介紹 |
數(shù)據(jù)湖工具介紹 常見的數(shù)據(jù)湖技術 開源架構Hudi技術介紹和應用場景 開源架構Iceberg技術介紹和應用場景 開源架構Delta Lake技術介紹和應用場景 hudi、Iceberg和Delta Lake的比較 Hudi 在業(yè)內的使用案例介紹 |
| Flink+hudi構建湖倉一體技術介紹 |
數(shù)據(jù)湖以及Hudi數(shù)據(jù)湖概述 Hudi數(shù)據(jù)湖插入數(shù)據(jù) Hudi數(shù)據(jù)湖之更新數(shù)據(jù) Hudi數(shù)據(jù)湖查詢數(shù)據(jù) Hudi增量數(shù)據(jù)查詢 Hudi表格式介紹 Hudi表索引介紹 Hudi數(shù)據(jù)湖COW表引擎 Hudi數(shù)據(jù)湖MOR表引擎 Hudi Timeline詳解 Hudi數(shù)據(jù)湖之flink實時數(shù)據(jù)分析服務構建 實戰(zhàn)： Flink+Hudi構建湖倉一體數(shù)據(jù)平臺的案例分享 |
| 案例實戰(zhàn)：湖倉一體數(shù)據(jù)底座實戰(zhàn) |
數(shù)據(jù)域劃分方法論介紹 主題域劃分 指標體系構建 –業(yè)務需求梳理方法 –指標和維度梳理 –選擇業(yè)務過程 –聲明粒度 –確定維度 –確定事實 –指標和維度一致性矩陣 建模規(guī)范介紹 數(shù)據(jù)架構解決的問題 數(shù)據(jù)分層的好處 數(shù)據(jù)倉庫分層模型介紹（OneData） 明細模型 -ODS -DWD 匯總模型 -DWS -ADS 數(shù)據(jù)分層核心原則—公共數(shù)據(jù)下沉介紹 指標數(shù)據(jù)規(guī)范定義 事實表和維度表識別 數(shù)據(jù)一致性解決方案 - 指標一致性 - 維度一致性 - 事實一致性 OneID梳理流程和生成規(guī)則案例介紹 建模生命周期 數(shù)據(jù)倉庫OneModel設計規(guī)范 存儲規(guī)范 時間維度規(guī)范 ODS、DWD、DWS、ADS層規(guī)范 數(shù)據(jù)類型轉換規(guī)范 視圖、臨時表規(guī)范 |
|
數(shù)據(jù)架構的發(fā)展 離線數(shù)倉解決方案 實時數(shù)倉數(shù)倉解決方案 新一代數(shù)倉---數(shù)據(jù)中臺概念及架構 湖倉一體數(shù)據(jù)架構解決方案 實時OLAP數(shù)據(jù)平臺架構方案 基于Flink構建實時數(shù)據(jù)平臺的解決方案 基于Flink構建湖倉一體數(shù)據(jù)平臺的解決方案 |
|
數(shù)據(jù)架構設計架構 數(shù)據(jù)倉庫典型架構介紹 —ODS層 —DW層 —DM層 數(shù)據(jù)安全控制 ETL任務調度 |
|
湖倉一體數(shù)據(jù)架構 數(shù)據(jù)接入大數(shù)據(jù)平臺 —離線數(shù)據(jù)接入 —實時的數(shù)據(jù)接入 數(shù)據(jù)處理過程 —數(shù)據(jù)的ETL —數(shù)據(jù)分層(ODS、DW和DM等) —數(shù)據(jù)建模 —數(shù)據(jù)校驗 數(shù)據(jù)應用 —數(shù)據(jù)離線應用 —數(shù)據(jù)實時應用 —數(shù)據(jù)實驗室 —數(shù)據(jù)展示工具(BI工具) |
|
湖倉一體工具介紹 數(shù)據(jù)湖工具介紹 常見的數(shù)據(jù)湖技術 開源架構Hudi技術介紹和應用場景 開源架構Iceberg技術介紹和應用場景 開源架構Delta Lake技術介紹和應用場景 hudi、Iceberg和Delta Lake的比較 Hudi 在業(yè)內的使用案例介紹 |
|
Flink+hudi構建湖倉一體技術介紹 數(shù)據(jù)湖以及Hudi數(shù)據(jù)湖概述 Hudi數(shù)據(jù)湖插入數(shù)據(jù) Hudi數(shù)據(jù)湖之更新數(shù)據(jù) Hudi數(shù)據(jù)湖查詢數(shù)據(jù) Hudi增量數(shù)據(jù)查詢 Hudi表格式介紹 Hudi表索引介紹 Hudi數(shù)據(jù)湖COW表引擎 Hudi數(shù)據(jù)湖MOR表引擎 Hudi Timeline詳解 Hudi數(shù)據(jù)湖之flink實時數(shù)據(jù)分析服務構建 實戰(zhàn)： Flink+Hudi構建湖倉一體數(shù)據(jù)平臺的案例分享 |
|
案例實戰(zhàn)：湖倉一體數(shù)據(jù)底座實戰(zhàn) 數(shù)據(jù)域劃分方法論介紹 主題域劃分 指標體系構建 –業(yè)務需求梳理方法 –指標和維度梳理 –選擇業(yè)務過程 –聲明粒度 –確定維度 –確定事實 –指標和維度一致性矩陣 建模規(guī)范介紹 數(shù)據(jù)架構解決的問題 數(shù)據(jù)分層的好處 數(shù)據(jù)倉庫分層模型介紹（OneData） 明細模型 -ODS -DWD 匯總模型 -DWS -ADS 數(shù)據(jù)分層核心原則—公共數(shù)據(jù)下沉介紹 指標數(shù)據(jù)規(guī)范定義 事實表和維度表識別 數(shù)據(jù)一致性解決方案 - 指標一致性 - 維度一致性 - 事實一致性 OneID梳理流程和生成規(guī)則案例介紹 建模生命周期 數(shù)據(jù)倉庫OneModel設計規(guī)范 存儲規(guī)范 時間維度規(guī)范 ODS、DWD、DWS、ADS層規(guī)范 數(shù)據(jù)類型轉換規(guī)范 視圖、臨時表規(guī)范 |
近期公開課推薦
