課程簡介
課程將詳細(xì)介紹數(shù)據(jù)架構(gòu)的發(fā)展、典型數(shù)據(jù)倉庫架構(gòu)、湖倉一體數(shù)據(jù)架構(gòu)及其工具。重點(diǎn)講解Hudi技術(shù)在湖倉一體架構(gòu)中的應(yīng)用,并通過Flink+Hudi構(gòu)建湖倉一體數(shù)據(jù)平臺(tái)的案例分享,加深理解。此外,還將通過實(shí)戰(zhàn)案例,探討湖倉一體數(shù)據(jù)底座的構(gòu)建方法,包括數(shù)據(jù)域劃分、指標(biāo)體系構(gòu)建等。本課程適合大數(shù)據(jù)架構(gòu)師、數(shù)據(jù)工程師等角色,旨在提升學(xué)員在湖倉一體架構(gòu)設(shè)計(jì)和落地方面的能力。
目標(biāo)收益
培訓(xùn)對(duì)象
課程大綱
數(shù)據(jù)架構(gòu)的發(fā)展 |
離線數(shù)倉解決方案 實(shí)時(shí)數(shù)倉數(shù)倉解決方案 新一代數(shù)倉---數(shù)據(jù)中臺(tái)概念及架構(gòu) 湖倉一體數(shù)據(jù)架構(gòu)解決方案 實(shí)時(shí)OLAP數(shù)據(jù)平臺(tái)架構(gòu)方案 基于Flink構(gòu)建實(shí)時(shí)數(shù)據(jù)平臺(tái)的解決方案 基于Flink構(gòu)建湖倉一體數(shù)據(jù)平臺(tái)的解決方案 |
數(shù)據(jù)架構(gòu)設(shè)計(jì)架構(gòu) |
數(shù)據(jù)倉庫典型架構(gòu)介紹 —ODS層 —DW層 —DM層 數(shù)據(jù)安全控制 ETL任務(wù)調(diào)度 |
湖倉一體數(shù)據(jù)架構(gòu) |
數(shù)據(jù)接入大數(shù)據(jù)平臺(tái) —離線數(shù)據(jù)接入 —實(shí)時(shí)的數(shù)據(jù)接入 數(shù)據(jù)處理過程 —數(shù)據(jù)的ETL —數(shù)據(jù)分層(ODS、DW和DM等) —數(shù)據(jù)建模 —數(shù)據(jù)校驗(yàn) 數(shù)據(jù)應(yīng)用 —數(shù)據(jù)離線應(yīng)用 —數(shù)據(jù)實(shí)時(shí)應(yīng)用 —數(shù)據(jù)實(shí)驗(yàn)室 —數(shù)據(jù)展示工具(BI工具) |
湖倉一體工具介紹 |
數(shù)據(jù)湖工具介紹 常見的數(shù)據(jù)湖技術(shù) 開源架構(gòu)Hudi技術(shù)介紹和應(yīng)用場景 開源架構(gòu)Iceberg技術(shù)介紹和應(yīng)用場景 開源架構(gòu)Delta Lake技術(shù)介紹和應(yīng)用場景 hudi、Iceberg和Delta Lake的比較 Hudi 在業(yè)內(nèi)的使用案例介紹 |
Flink+hudi構(gòu)建湖倉一體技術(shù)介紹 |
數(shù)據(jù)湖以及Hudi數(shù)據(jù)湖概述 Hudi數(shù)據(jù)湖插入數(shù)據(jù) Hudi數(shù)據(jù)湖之更新數(shù)據(jù) Hudi數(shù)據(jù)湖查詢數(shù)據(jù) Hudi增量數(shù)據(jù)查詢 Hudi表格式介紹 Hudi表索引介紹 Hudi數(shù)據(jù)湖COW表引擎 Hudi數(shù)據(jù)湖MOR表引擎 Hudi Timeline詳解 Hudi數(shù)據(jù)湖之flink實(shí)時(shí)數(shù)據(jù)分析服務(wù)構(gòu)建 實(shí)戰(zhàn): Flink+Hudi構(gòu)建湖倉一體數(shù)據(jù)平臺(tái)的案例分享 |
案例實(shí)戰(zhàn):湖倉一體數(shù)據(jù)底座實(shí)戰(zhàn) |
數(shù)據(jù)域劃分方法論介紹 主題域劃分 指標(biāo)體系構(gòu)建 –業(yè)務(wù)需求梳理方法 –指標(biāo)和維度梳理 –選擇業(yè)務(wù)過程 –聲明粒度 –確定維度 –確定事實(shí) –指標(biāo)和維度一致性矩陣 建模規(guī)范介紹 數(shù)據(jù)架構(gòu)解決的問題 數(shù)據(jù)分層的好處 數(shù)據(jù)倉庫分層模型介紹(OneData) 明細(xì)模型 -ODS -DWD 匯總模型 -DWS -ADS 數(shù)據(jù)分層核心原則—公共數(shù)據(jù)下沉介紹 指標(biāo)數(shù)據(jù)規(guī)范定義 事實(shí)表和維度表識(shí)別 數(shù)據(jù)一致性解決方案 - 指標(biāo)一致性 - 維度一致性 - 事實(shí)一致性 OneID梳理流程和生成規(guī)則案例介紹 建模生命周期 數(shù)據(jù)倉庫OneModel設(shè)計(jì)規(guī)范 存儲(chǔ)規(guī)范 時(shí)間維度規(guī)范 ODS、DWD、DWS、ADS層規(guī)范 數(shù)據(jù)類型轉(zhuǎn)換規(guī)范 視圖、臨時(shí)表規(guī)范 |
數(shù)據(jù)架構(gòu)的發(fā)展 離線數(shù)倉解決方案 實(shí)時(shí)數(shù)倉數(shù)倉解決方案 新一代數(shù)倉---數(shù)據(jù)中臺(tái)概念及架構(gòu) 湖倉一體數(shù)據(jù)架構(gòu)解決方案 實(shí)時(shí)OLAP數(shù)據(jù)平臺(tái)架構(gòu)方案 基于Flink構(gòu)建實(shí)時(shí)數(shù)據(jù)平臺(tái)的解決方案 基于Flink構(gòu)建湖倉一體數(shù)據(jù)平臺(tái)的解決方案 |
數(shù)據(jù)架構(gòu)設(shè)計(jì)架構(gòu) 數(shù)據(jù)倉庫典型架構(gòu)介紹 —ODS層 —DW層 —DM層 數(shù)據(jù)安全控制 ETL任務(wù)調(diào)度 |
湖倉一體數(shù)據(jù)架構(gòu) 數(shù)據(jù)接入大數(shù)據(jù)平臺(tái) —離線數(shù)據(jù)接入 —實(shí)時(shí)的數(shù)據(jù)接入 數(shù)據(jù)處理過程 —數(shù)據(jù)的ETL —數(shù)據(jù)分層(ODS、DW和DM等) —數(shù)據(jù)建模 —數(shù)據(jù)校驗(yàn) 數(shù)據(jù)應(yīng)用 —數(shù)據(jù)離線應(yīng)用 —數(shù)據(jù)實(shí)時(shí)應(yīng)用 —數(shù)據(jù)實(shí)驗(yàn)室 —數(shù)據(jù)展示工具(BI工具) |
湖倉一體工具介紹 數(shù)據(jù)湖工具介紹 常見的數(shù)據(jù)湖技術(shù) 開源架構(gòu)Hudi技術(shù)介紹和應(yīng)用場景 開源架構(gòu)Iceberg技術(shù)介紹和應(yīng)用場景 開源架構(gòu)Delta Lake技術(shù)介紹和應(yīng)用場景 hudi、Iceberg和Delta Lake的比較 Hudi 在業(yè)內(nèi)的使用案例介紹 |
Flink+hudi構(gòu)建湖倉一體技術(shù)介紹 數(shù)據(jù)湖以及Hudi數(shù)據(jù)湖概述 Hudi數(shù)據(jù)湖插入數(shù)據(jù) Hudi數(shù)據(jù)湖之更新數(shù)據(jù) Hudi數(shù)據(jù)湖查詢數(shù)據(jù) Hudi增量數(shù)據(jù)查詢 Hudi表格式介紹 Hudi表索引介紹 Hudi數(shù)據(jù)湖COW表引擎 Hudi數(shù)據(jù)湖MOR表引擎 Hudi Timeline詳解 Hudi數(shù)據(jù)湖之flink實(shí)時(shí)數(shù)據(jù)分析服務(wù)構(gòu)建 實(shí)戰(zhàn): Flink+Hudi構(gòu)建湖倉一體數(shù)據(jù)平臺(tái)的案例分享 |
案例實(shí)戰(zhàn):湖倉一體數(shù)據(jù)底座實(shí)戰(zhàn) 數(shù)據(jù)域劃分方法論介紹 主題域劃分 指標(biāo)體系構(gòu)建 –業(yè)務(wù)需求梳理方法 –指標(biāo)和維度梳理 –選擇業(yè)務(wù)過程 –聲明粒度 –確定維度 –確定事實(shí) –指標(biāo)和維度一致性矩陣 建模規(guī)范介紹 數(shù)據(jù)架構(gòu)解決的問題 數(shù)據(jù)分層的好處 數(shù)據(jù)倉庫分層模型介紹(OneData) 明細(xì)模型 -ODS -DWD 匯總模型 -DWS -ADS 數(shù)據(jù)分層核心原則—公共數(shù)據(jù)下沉介紹 指標(biāo)數(shù)據(jù)規(guī)范定義 事實(shí)表和維度表識(shí)別 數(shù)據(jù)一致性解決方案 - 指標(biāo)一致性 - 維度一致性 - 事實(shí)一致性 OneID梳理流程和生成規(guī)則案例介紹 建模生命周期 數(shù)據(jù)倉庫OneModel設(shè)計(jì)規(guī)范 存儲(chǔ)規(guī)范 時(shí)間維度規(guī)范 ODS、DWD、DWS、ADS層規(guī)范 數(shù)據(jù)類型轉(zhuǎn)換規(guī)范 視圖、臨時(shí)表規(guī)范 |