課程簡(jiǎn)介
本課程圍繞湖倉一體展開，重點(diǎn)介紹企業(yè)湖倉一體數(shù)據(jù)架構(gòu)的介紹，從數(shù)據(jù)架構(gòu)的 演進(jìn)，到數(shù)據(jù)湖的出現(xiàn)，再到湖倉一體架構(gòu)的發(fā)展，深入解析湖倉一體的核心主流技術(shù)， 以及企業(yè)級(jí)湖倉一體架構(gòu)建設(shè)方法，幫助學(xué)習(xí)者從各個(gè)方面對(duì)湖倉一體架構(gòu)有更深入的 理解。
目標(biāo)收益
培訓(xùn)對(duì)象
1. 大數(shù)據(jù)從業(yè)人員 2. 企業(yè) IT 開發(fā)人員 3. 企業(yè)數(shù)據(jù)部門人員
課程大綱
| 數(shù)據(jù)架構(gòu)的演進(jìn) |
1. 數(shù)據(jù)架構(gòu)的發(fā)展史 1.1 早期的數(shù)據(jù)架構(gòu) 1.2 數(shù)據(jù)倉庫時(shí)代 1.3 數(shù)據(jù)湖的出現(xiàn) 1.3.1 非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ) 1.3.2 數(shù)據(jù)湖的基本原理 1.3.3 數(shù)據(jù)湖的應(yīng)用場(chǎng)景 3.1.1 結(jié)構(gòu)化數(shù)據(jù) 3.1.2 半結(jié)構(gòu)數(shù)據(jù) 3.1.3 非結(jié)構(gòu)化數(shù)據(jù) 3.1.4 異構(gòu)數(shù)據(jù)存儲(chǔ) 3.2 不同的終端用戶 3.2.1 分析型架構(gòu)下的數(shù)據(jù)存儲(chǔ) 3.2.2 探索型架構(gòu)下的數(shù)據(jù)存儲(chǔ) 3.2.3 開放的數(shù)據(jù)存儲(chǔ)格式 3.2.4 分析性數(shù)據(jù)架構(gòu) 3.3 數(shù)據(jù)存儲(chǔ)技術(shù)的發(fā)展 3.3.1 磁帶存儲(chǔ) 3.3.2 分布式存儲(chǔ)技術(shù) |
| 湖倉一體的主流核心 技術(shù)上 |
2. 湖倉一體架構(gòu)的出現(xiàn) 2.1 什么是湖倉一體 2.1.1 湖倉一體架構(gòu)介紹 2.1.2 湖倉一體架構(gòu)的優(yōu)勢(shì) 2.1.3 湖倉一體架構(gòu)的挑戰(zhàn) 2.1.4 為什么會(huì)是湖倉一體 2.2 數(shù)據(jù)湖倉與數(shù)據(jù)倉庫 2.2.1 數(shù)據(jù)倉庫的優(yōu)勢(shì)與局限性 2.3 數(shù)據(jù)湖倉與數(shù)據(jù)湖 2.3.1 數(shù)據(jù)湖的優(yōu)勢(shì)與局限性 2.3.2 異構(gòu)數(shù)據(jù)管理的挑戰(zhàn) 3. 數(shù)據(jù)存儲(chǔ)技術(shù)的發(fā)展 3.1 不同的數(shù)據(jù)存儲(chǔ)類型 |
| 湖倉一體的主流核心 技術(shù)下 |
4. 數(shù)據(jù)處理技術(shù)的發(fā)展 4.1 單體式數(shù)據(jù)處理技術(shù) 4.2Map-Reduce 分布式計(jì)算模型 4.3 實(shí)時(shí)數(shù)據(jù)處理技術(shù)的興起 4.4 批流一體化技術(shù)的發(fā)展 4.5 存算分離技術(shù)的演進(jìn) 4.6 數(shù)據(jù)處理技術(shù)對(duì)數(shù)據(jù)架構(gòu)的影響 5. 數(shù)據(jù)湖倉的核心能力 5.1 數(shù)據(jù)湖的核心能力 5.1.1ACID 事務(wù)能力 5.1.2 批流一體數(shù)據(jù)讀寫 5.2 數(shù)據(jù)湖技術(shù)的發(fā)展 5.3 數(shù)據(jù)湖主流技術(shù) 6. 數(shù)據(jù)湖技術(shù)之 Apache Iceberg 6.1Apache Iceberg 的發(fā)展歷史 6.2Apache Iceberg 核心優(yōu)勢(shì) 6.3Apache Iceberg 的數(shù)據(jù)存儲(chǔ)格式 6.4Apache Iceberg 元數(shù)據(jù)管理 7. 數(shù)據(jù)湖技術(shù)之 Apache Hudi 7.1Apache Hudi 的發(fā)展歷史 7.2Apache Hudi 核心優(yōu)勢(shì) 7.3Apache Hudi 的數(shù)據(jù)存儲(chǔ)格式 7.4Apache Hudi 元數(shù)據(jù)管理 8. 選擇合適的數(shù)據(jù)湖技術(shù) 8.1 數(shù)據(jù)湖技術(shù)對(duì)比 8.2 數(shù)據(jù)湖技術(shù)的未來 8.3 如何選擇正確的數(shù)據(jù)湖 |
| 企業(yè)級(jí)湖倉一體架構(gòu) |
9. 構(gòu)建企業(yè)級(jí)湖倉一體架構(gòu) 9.1 數(shù)據(jù)倉庫的構(gòu)建 9.2 數(shù)據(jù)湖的能力構(gòu)建 9.3 湖倉一體融合實(shí)踐 9.4 批流一體化建設(shè) 10. 數(shù)據(jù)分析與數(shù)據(jù)湖倉 10.1 數(shù)據(jù)分析技術(shù) 10.2 數(shù)據(jù)服務(wù) 10.3 數(shù)據(jù)可視化 11. 機(jī)器學(xué)習(xí)與數(shù)據(jù)湖倉 11.1 機(jī)器學(xué)習(xí)與數(shù)據(jù)湖 11.2AI 與 BI 的隔離 11.3 機(jī)器學(xué)習(xí)下的數(shù)據(jù)訪問與管理 12. 湖倉一體化下的數(shù)據(jù)治理 12.1 數(shù)據(jù)倉庫下的數(shù)據(jù)治理 12.2 數(shù)據(jù)湖下數(shù)據(jù)治理的挑戰(zhàn) 12.3 湖倉一體下的數(shù)據(jù)治理體系 |
|
數(shù)據(jù)架構(gòu)的演進(jìn) 1. 數(shù)據(jù)架構(gòu)的發(fā)展史 1.1 早期的數(shù)據(jù)架構(gòu) 1.2 數(shù)據(jù)倉庫時(shí)代 1.3 數(shù)據(jù)湖的出現(xiàn) 1.3.1 非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ) 1.3.2 數(shù)據(jù)湖的基本原理 1.3.3 數(shù)據(jù)湖的應(yīng)用場(chǎng)景 3.1.1 結(jié)構(gòu)化數(shù)據(jù) 3.1.2 半結(jié)構(gòu)數(shù)據(jù) 3.1.3 非結(jié)構(gòu)化數(shù)據(jù) 3.1.4 異構(gòu)數(shù)據(jù)存儲(chǔ) 3.2 不同的終端用戶 3.2.1 分析型架構(gòu)下的數(shù)據(jù)存儲(chǔ) 3.2.2 探索型架構(gòu)下的數(shù)據(jù)存儲(chǔ) 3.2.3 開放的數(shù)據(jù)存儲(chǔ)格式 3.2.4 分析性數(shù)據(jù)架構(gòu) 3.3 數(shù)據(jù)存儲(chǔ)技術(shù)的發(fā)展 3.3.1 磁帶存儲(chǔ) 3.3.2 分布式存儲(chǔ)技術(shù) |
|
湖倉一體的主流核心 技術(shù)上 2. 湖倉一體架構(gòu)的出現(xiàn) 2.1 什么是湖倉一體 2.1.1 湖倉一體架構(gòu)介紹 2.1.2 湖倉一體架構(gòu)的優(yōu)勢(shì) 2.1.3 湖倉一體架構(gòu)的挑戰(zhàn) 2.1.4 為什么會(huì)是湖倉一體 2.2 數(shù)據(jù)湖倉與數(shù)據(jù)倉庫 2.2.1 數(shù)據(jù)倉庫的優(yōu)勢(shì)與局限性 2.3 數(shù)據(jù)湖倉與數(shù)據(jù)湖 2.3.1 數(shù)據(jù)湖的優(yōu)勢(shì)與局限性 2.3.2 異構(gòu)數(shù)據(jù)管理的挑戰(zhàn) 3. 數(shù)據(jù)存儲(chǔ)技術(shù)的發(fā)展 3.1 不同的數(shù)據(jù)存儲(chǔ)類型 |
|
湖倉一體的主流核心 技術(shù)下 4. 數(shù)據(jù)處理技術(shù)的發(fā)展 4.1 單體式數(shù)據(jù)處理技術(shù) 4.2Map-Reduce 分布式計(jì)算模型 4.3 實(shí)時(shí)數(shù)據(jù)處理技術(shù)的興起 4.4 批流一體化技術(shù)的發(fā)展 4.5 存算分離技術(shù)的演進(jìn) 4.6 數(shù)據(jù)處理技術(shù)對(duì)數(shù)據(jù)架構(gòu)的影響 5. 數(shù)據(jù)湖倉的核心能力 5.1 數(shù)據(jù)湖的核心能力 5.1.1ACID 事務(wù)能力 5.1.2 批流一體數(shù)據(jù)讀寫 5.2 數(shù)據(jù)湖技術(shù)的發(fā)展 5.3 數(shù)據(jù)湖主流技術(shù) 6. 數(shù)據(jù)湖技術(shù)之 Apache Iceberg 6.1Apache Iceberg 的發(fā)展歷史 6.2Apache Iceberg 核心優(yōu)勢(shì) 6.3Apache Iceberg 的數(shù)據(jù)存儲(chǔ)格式 6.4Apache Iceberg 元數(shù)據(jù)管理 7. 數(shù)據(jù)湖技術(shù)之 Apache Hudi 7.1Apache Hudi 的發(fā)展歷史 7.2Apache Hudi 核心優(yōu)勢(shì) 7.3Apache Hudi 的數(shù)據(jù)存儲(chǔ)格式 7.4Apache Hudi 元數(shù)據(jù)管理 8. 選擇合適的數(shù)據(jù)湖技術(shù) 8.1 數(shù)據(jù)湖技術(shù)對(duì)比 8.2 數(shù)據(jù)湖技術(shù)的未來 8.3 如何選擇正確的數(shù)據(jù)湖 |
|
企業(yè)級(jí)湖倉一體架構(gòu) 9. 構(gòu)建企業(yè)級(jí)湖倉一體架構(gòu) 9.1 數(shù)據(jù)倉庫的構(gòu)建 9.2 數(shù)據(jù)湖的能力構(gòu)建 9.3 湖倉一體融合實(shí)踐 9.4 批流一體化建設(shè) 10. 數(shù)據(jù)分析與數(shù)據(jù)湖倉 10.1 數(shù)據(jù)分析技術(shù) 10.2 數(shù)據(jù)服務(wù) 10.3 數(shù)據(jù)可視化 11. 機(jī)器學(xué)習(xí)與數(shù)據(jù)湖倉 11.1 機(jī)器學(xué)習(xí)與數(shù)據(jù)湖 11.2AI 與 BI 的隔離 11.3 機(jī)器學(xué)習(xí)下的數(shù)據(jù)訪問與管理 12. 湖倉一體化下的數(shù)據(jù)治理 12.1 數(shù)據(jù)倉庫下的數(shù)據(jù)治理 12.2 數(shù)據(jù)湖下數(shù)據(jù)治理的挑戰(zhàn) 12.3 湖倉一體下的數(shù)據(jù)治理體系 |
近期公開課推薦
