工程師
其他
架構(gòu)師
架構(gòu)設(shè)計(jì)
大數(shù)據(jù)
數(shù)據(jù)架構(gòu)
工程師
推薦課程
average > 0 ? $model->average . '分' : '10.0分' ?>

湖倉一體架構(gòu)和落地培訓(xùn)

劉老師

某知名咨詢公司 云平臺(tái)系統(tǒng)架構(gòu)師

畢業(yè)于?連理??學(xué)
簡介:
精通開源的?數(shù)據(jù)?態(tài)技術(shù)和架構(gòu)，Hadoop、Hive、Hbase、 Spark、Flink等開源技術(shù)棧。
有10年左右基于?數(shù)據(jù)解決?案平臺(tái)、數(shù)據(jù)架構(gòu)、數(shù)據(jù)中臺(tái)、數(shù)據(jù)治理、數(shù)據(jù)分析和挖掘的?型數(shù)據(jù)湖和數(shù)
據(jù)中臺(tái)項(xiàng)?架構(gòu)實(shí)施經(jīng)驗(yàn),
?前任職國內(nèi)知名咨詢公司，先后服務(wù)于北京?學(xué)軟件研究所、阿?巴巴、Teradata,實(shí)施過基于開源?數(shù)據(jù)技術(shù)
棧的數(shù)據(jù)湖解決?案和實(shí)施、湖倉?體架構(gòu)咨詢和實(shí)施、數(shù)據(jù)中臺(tái)的咨詢和設(shè)施
最近主要項(xiàng)?介紹:
某移動(dòng)?數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)和設(shè)施 (Hadoop、Spark)
四??之?的數(shù)據(jù)湖咨詢和實(shí)施
某?型商業(yè)銀?數(shù)據(jù)中臺(tái)咨詢
某銀?基于開源?數(shù)據(jù)技術(shù)棧數(shù)據(jù)中臺(tái)的咨詢和實(shí)施
某航空公司數(shù)據(jù)平臺(tái)流批?體解決?案和實(shí)施
特長:
在?數(shù)據(jù)架構(gòu)、開發(fā)、運(yùn)維和優(yōu)化、數(shù)據(jù)集成、 數(shù)據(jù)湖(Data Lake)、數(shù)據(jù)建模、數(shù)據(jù)挖掘/機(jī)器學(xué)習(xí)、數(shù)據(jù)
中臺(tái)等??有豐富經(jīng) 驗(yàn)。

畢業(yè)于?連理??學(xué) 簡介: 精通開源的?數(shù)據(jù)?態(tài)技術(shù)和架構(gòu)，Hadoop、Hive、Hbase、 Spark、Flink等開源技術(shù)棧。 有10年左右基于?數(shù)據(jù)解決?案平臺(tái)、數(shù)據(jù)架構(gòu)、數(shù)據(jù)中臺(tái)、數(shù)據(jù)治理、數(shù)據(jù)分析和挖掘的?型數(shù)據(jù)湖和數(shù) 據(jù)中臺(tái)項(xiàng)?架構(gòu)實(shí)施經(jīng)驗(yàn), ?前任職國內(nèi)知名咨詢公司，先后服務(wù)于北京?學(xué)軟件研究所、阿?巴巴、Teradata,實(shí)施過基于開源?數(shù)據(jù)技術(shù) 棧的數(shù)據(jù)湖解決?案和實(shí)施、湖倉?體架構(gòu)咨詢和實(shí)施、數(shù)據(jù)中臺(tái)的咨詢和設(shè)施 最近主要項(xiàng)?介紹: 某移動(dòng)?數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)和設(shè)施 (Hadoop、Spark) 四??之?的數(shù)據(jù)湖咨詢和實(shí)施 某?型商業(yè)銀?數(shù)據(jù)中臺(tái)咨詢 某銀?基于開源?數(shù)據(jù)技術(shù)棧數(shù)據(jù)中臺(tái)的咨詢和實(shí)施 某航空公司數(shù)據(jù)平臺(tái)流批?體解決?案和實(shí)施 特長: 在?數(shù)據(jù)架構(gòu)、開發(fā)、運(yùn)維和優(yōu)化、數(shù)據(jù)集成、 數(shù)據(jù)湖(Data Lake)、數(shù)據(jù)建模、數(shù)據(jù)挖掘/機(jī)器學(xué)習(xí)、數(shù)據(jù) 中臺(tái)等??有豐富經(jīng) 驗(yàn)。

課程費(fèi)用

6800.00 /人

課程時(shí)長

2天

成為教練

課程簡介

課程將詳細(xì)介紹數(shù)據(jù)架構(gòu)的發(fā)展、典型數(shù)據(jù)倉庫架構(gòu)、湖倉一體數(shù)據(jù)架構(gòu)及其工具。重點(diǎn)講解Hudi技術(shù)在湖倉一體架構(gòu)中的應(yīng)用，并通過Flink+Hudi構(gòu)建湖倉一體數(shù)據(jù)平臺(tái)的案例分享，加深理解。此外，還將通過實(shí)戰(zhàn)案例，探討湖倉一體數(shù)據(jù)底座的構(gòu)建方法，包括數(shù)據(jù)域劃分、指標(biāo)體系構(gòu)建等。本課程適合大數(shù)據(jù)架構(gòu)師、數(shù)據(jù)工程師等角色，旨在提升學(xué)員在湖倉一體架構(gòu)設(shè)計(jì)和落地方面的能力。

目標(biāo)收益

培訓(xùn)對(duì)象

課程大綱

數(shù)據(jù)架構(gòu)的發(fā)展 離線數(shù)倉解決方案
實(shí)時(shí)數(shù)倉數(shù)倉解決方案
新一代數(shù)倉---數(shù)據(jù)中臺(tái)概念及架構(gòu)
湖倉一體數(shù)據(jù)架構(gòu)解決方案
實(shí)時(shí)OLAP數(shù)據(jù)平臺(tái)架構(gòu)方案
基于Flink構(gòu)建實(shí)時(shí)數(shù)據(jù)平臺(tái)的解決方案
基于Flink構(gòu)建湖倉一體數(shù)據(jù)平臺(tái)的解決方案
數(shù)據(jù)架構(gòu)設(shè)計(jì)架構(gòu) 數(shù)據(jù)倉庫典型架構(gòu)介紹
—ODS層
—DW層
—DM層
數(shù)據(jù)安全控制
ETL任務(wù)調(diào)度
湖倉一體數(shù)據(jù)架構(gòu) 數(shù)據(jù)接入大數(shù)據(jù)平臺(tái)
—離線數(shù)據(jù)接入
—實(shí)時(shí)的數(shù)據(jù)接入
數(shù)據(jù)處理過程
—數(shù)據(jù)的ETL
—數(shù)據(jù)分層(ODS、DW和DM等)
—數(shù)據(jù)建模
—數(shù)據(jù)校驗(yàn)
數(shù)據(jù)應(yīng)用
—數(shù)據(jù)離線應(yīng)用
—數(shù)據(jù)實(shí)時(shí)應(yīng)用
—數(shù)據(jù)實(shí)驗(yàn)室
—數(shù)據(jù)展示工具(BI工具)
湖倉一體工具介紹 數(shù)據(jù)湖工具介紹
常見的數(shù)據(jù)湖技術(shù)
開源架構(gòu)Hudi技術(shù)介紹和應(yīng)用場景
開源架構(gòu)Iceberg技術(shù)介紹和應(yīng)用場景
開源架構(gòu)Delta Lake技術(shù)介紹和應(yīng)用場景
hudi、Iceberg和Delta Lake的比較
Hudi 在業(yè)內(nèi)的使用案例介紹
Flink+hudi構(gòu)建湖倉一體技術(shù)介紹 數(shù)據(jù)湖以及Hudi數(shù)據(jù)湖概述
Hudi數(shù)據(jù)湖插入數(shù)據(jù)
Hudi數(shù)據(jù)湖之更新數(shù)據(jù)
Hudi數(shù)據(jù)湖查詢數(shù)據(jù)
Hudi增量數(shù)據(jù)查詢
Hudi表格式介紹
Hudi表索引介紹
Hudi數(shù)據(jù)湖COW表引擎
Hudi數(shù)據(jù)湖MOR表引擎
Hudi Timeline詳解
Hudi數(shù)據(jù)湖之flink實(shí)時(shí)數(shù)據(jù)分析服務(wù)構(gòu)建
實(shí)戰(zhàn)：
Flink+Hudi構(gòu)建湖倉一體數(shù)據(jù)平臺(tái)的案例分享
案例實(shí)戰(zhàn)：湖倉一體數(shù)據(jù)底座實(shí)戰(zhàn) 數(shù)據(jù)域劃分方法論介紹
主題域劃分
指標(biāo)體系構(gòu)建
–業(yè)務(wù)需求梳理方法
–指標(biāo)和維度梳理
–選擇業(yè)務(wù)過程
–聲明粒度
–確定維度
–確定事實(shí)
–指標(biāo)和維度一致性矩陣
建模規(guī)范介紹
數(shù)據(jù)架構(gòu)解決的問題
數(shù)據(jù)分層的好處
數(shù)據(jù)倉庫分層模型介紹（OneData）
明細(xì)模型
-ODS
-DWD
匯總模型
-DWS
-ADS
數(shù)據(jù)分層核心原則—公共數(shù)據(jù)下沉介紹
指標(biāo)數(shù)據(jù)規(guī)范定義
事實(shí)表和維度表識(shí)別
數(shù)據(jù)一致性解決方案
- 指標(biāo)一致性
- 維度一致性
- 事實(shí)一致性
OneID梳理流程和生成規(guī)則案例介紹
建模生命周期
數(shù)據(jù)倉庫OneModel設(shè)計(jì)規(guī)范
存儲(chǔ)規(guī)范
時(shí)間維度規(guī)范
ODS、DWD、DWS、ADS層規(guī)范
數(shù)據(jù)類型轉(zhuǎn)換規(guī)范
視圖、臨時(shí)表規(guī)范
數(shù)據(jù)架構(gòu)的發(fā)展
離線數(shù)倉解決方案
實(shí)時(shí)數(shù)倉數(shù)倉解決方案
新一代數(shù)倉---數(shù)據(jù)中臺(tái)概念及架構(gòu)
湖倉一體數(shù)據(jù)架構(gòu)解決方案
實(shí)時(shí)OLAP數(shù)據(jù)平臺(tái)架構(gòu)方案
基于Flink構(gòu)建實(shí)時(shí)數(shù)據(jù)平臺(tái)的解決方案
基于Flink構(gòu)建湖倉一體數(shù)據(jù)平臺(tái)的解決方案
數(shù)據(jù)架構(gòu)設(shè)計(jì)架構(gòu)
數(shù)據(jù)倉庫典型架構(gòu)介紹
—ODS層
—DW層
—DM層
數(shù)據(jù)安全控制
ETL任務(wù)調(diào)度
湖倉一體數(shù)據(jù)架構(gòu)
數(shù)據(jù)接入大數(shù)據(jù)平臺(tái)
—離線數(shù)據(jù)接入
—實(shí)時(shí)的數(shù)據(jù)接入
數(shù)據(jù)處理過程
—數(shù)據(jù)的ETL
—數(shù)據(jù)分層(ODS、DW和DM等)
—數(shù)據(jù)建模
—數(shù)據(jù)校驗(yàn)
數(shù)據(jù)應(yīng)用
—數(shù)據(jù)離線應(yīng)用
—數(shù)據(jù)實(shí)時(shí)應(yīng)用
—數(shù)據(jù)實(shí)驗(yàn)室
—數(shù)據(jù)展示工具(BI工具)
湖倉一體工具介紹
數(shù)據(jù)湖工具介紹
常見的數(shù)據(jù)湖技術(shù)
開源架構(gòu)Hudi技術(shù)介紹和應(yīng)用場景
開源架構(gòu)Iceberg技術(shù)介紹和應(yīng)用場景
開源架構(gòu)Delta Lake技術(shù)介紹和應(yīng)用場景
hudi、Iceberg和Delta Lake的比較
Hudi 在業(yè)內(nèi)的使用案例介紹
Flink+hudi構(gòu)建湖倉一體技術(shù)介紹
數(shù)據(jù)湖以及Hudi數(shù)據(jù)湖概述
Hudi數(shù)據(jù)湖插入數(shù)據(jù)
Hudi數(shù)據(jù)湖之更新數(shù)據(jù)
Hudi數(shù)據(jù)湖查詢數(shù)據(jù)
Hudi增量數(shù)據(jù)查詢
Hudi表格式介紹
Hudi表索引介紹
Hudi數(shù)據(jù)湖COW表引擎
Hudi數(shù)據(jù)湖MOR表引擎
Hudi Timeline詳解
Hudi數(shù)據(jù)湖之flink實(shí)時(shí)數(shù)據(jù)分析服務(wù)構(gòu)建
實(shí)戰(zhàn)：
Flink+Hudi構(gòu)建湖倉一體數(shù)據(jù)平臺(tái)的案例分享
案例實(shí)戰(zhàn)：湖倉一體數(shù)據(jù)底座實(shí)戰(zhàn)
數(shù)據(jù)域劃分方法論介紹
主題域劃分
指標(biāo)體系構(gòu)建
–業(yè)務(wù)需求梳理方法
–指標(biāo)和維度梳理
–選擇業(yè)務(wù)過程
–聲明粒度
–確定維度
–確定事實(shí)
–指標(biāo)和維度一致性矩陣
建模規(guī)范介紹
數(shù)據(jù)架構(gòu)解決的問題
數(shù)據(jù)分層的好處
數(shù)據(jù)倉庫分層模型介紹（OneData）
明細(xì)模型
-ODS
-DWD
匯總模型
-DWS
-ADS
數(shù)據(jù)分層核心原則—公共數(shù)據(jù)下沉介紹
指標(biāo)數(shù)據(jù)規(guī)范定義
事實(shí)表和維度表識(shí)別
數(shù)據(jù)一致性解決方案
- 指標(biāo)一致性
- 維度一致性
- 事實(shí)一致性
OneID梳理流程和生成規(guī)則案例介紹
建模生命周期
數(shù)據(jù)倉庫OneModel設(shè)計(jì)規(guī)范
存儲(chǔ)規(guī)范
時(shí)間維度規(guī)范
ODS、DWD、DWS、ADS層規(guī)范
數(shù)據(jù)類型轉(zhuǎn)換規(guī)范
視圖、臨時(shí)表規(guī)范

課程費(fèi)用

6800.00 /人

課程時(shí)長

2天

預(yù)約體驗(yàn)票 我要分享

近期公開課推薦

近期公開課推薦

活動(dòng)詳情

提交需求