課程簡介
深入理解數(shù)據(jù)網(wǎng)格的核心概念、原則和優(yōu)勢。
掌握數(shù)據(jù)網(wǎng)格的關(guān)鍵技術(shù)和實踐方法。
學(xué)習(xí)如何設(shè)計和構(gòu)建數(shù)據(jù)網(wǎng)格架構(gòu)。
了解數(shù)據(jù)網(wǎng)格的實施步驟和最佳實踐。
能夠評估企業(yè)是否適合采用數(shù)據(jù)網(wǎng)格，并制定實施計劃。
目標(biāo)收益
培訓(xùn)對象
數(shù)據(jù)架構(gòu)師、數(shù)據(jù)工程師、業(yè)務(wù)負(fù)責(zé)人、數(shù)據(jù)治理專家、以及對數(shù)據(jù)網(wǎng)格感興趣的技術(shù)人員。
課程大綱
|
第一天：數(shù)據(jù)網(wǎng)格核心概念與原則 模塊 1：傳統(tǒng)數(shù)據(jù)架構(gòu)的挑戰(zhàn)與數(shù)據(jù)網(wǎng)格的興起 (上午) |
傳統(tǒng)數(shù)據(jù)倉庫、數(shù)據(jù)湖的局限性：集中式、煙囪式、響應(yīng)慢 數(shù)據(jù)孤島、數(shù)據(jù)蔓延、數(shù)據(jù)質(zhì)量差等數(shù)據(jù)管理難題 數(shù)據(jù)網(wǎng)格的定義、目標(biāo)和優(yōu)勢：面向業(yè)務(wù)、自治性、可擴展性 數(shù)據(jù)網(wǎng)格的核心原則： 領(lǐng)域所有權(quán)（Domain Ownership） 數(shù)據(jù)即產(chǎn)品（Data as a Product） 自服務(wù)數(shù)據(jù)平臺（Self-Serve Data Platform） 聯(lián)合計算治理（Federated Computational Governance） |
| 模塊 2：數(shù)據(jù)網(wǎng)格與領(lǐng)域驅(qū)動設(shè)計 (DDD) (上午) |
領(lǐng)域驅(qū)動設(shè)計 (DDD) 的核心概念：領(lǐng)域、子領(lǐng)域、限界上下文 DDD在數(shù)據(jù)網(wǎng)格中的應(yīng)用：領(lǐng)域劃分、數(shù)據(jù)建模、服務(wù)設(shè)計 如何識別和定義數(shù)據(jù)網(wǎng)格中的數(shù)據(jù)領(lǐng)域 領(lǐng)域?qū)＜以跀?shù)據(jù)網(wǎng)格中的角色與職責(zé) 動手實踐：根據(jù)業(yè)務(wù)場景進行領(lǐng)域劃分和限界上下文定義 |
| 模塊 3：數(shù)據(jù)即產(chǎn)品 (Data as a Product) (下午) |
什么是數(shù)據(jù)即產(chǎn)品？ 數(shù)據(jù)作為獨立的服務(wù)單元 數(shù)據(jù)產(chǎn)品的特性：可發(fā)現(xiàn)性、可尋址性、可理解性、可信賴性、互操作性、安全性 數(shù)據(jù)產(chǎn)品所有者的職責(zé)：數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)文檔、數(shù)據(jù)服務(wù) 如何設(shè)計和開發(fā)數(shù)據(jù)產(chǎn)品 數(shù)據(jù)產(chǎn)品的價值評估與運營 動手實踐：設(shè)計一個數(shù)據(jù)產(chǎn)品，并定義其特性和評估指標(biāo) |
| 模塊 4：自服務(wù)數(shù)據(jù)平臺 (Self-Serve Data Platform) (下午) |
自服務(wù)數(shù)據(jù)平臺的定義和目標(biāo)：簡化數(shù)據(jù)訪問、降低技術(shù)門檻 自服務(wù)數(shù)據(jù)平臺的核心功能： 數(shù)據(jù)發(fā)現(xiàn)與目錄 數(shù)據(jù)攝取與集成 數(shù)據(jù)轉(zhuǎn)換與清洗 數(shù)據(jù)分析與可視化 數(shù)據(jù)安全與治理 如何選擇和構(gòu)建自服務(wù)數(shù)據(jù)平臺 開源工具與云平臺服務(wù)：Apache Atlas, AWS Glue, Azure Purview, Google Cloud Dataproc 動手實踐：評估和選擇適用于特定場景的自服務(wù)數(shù)據(jù)平臺工具 |
|
第二天：數(shù)據(jù)網(wǎng)格實施與治理 模塊 5：聯(lián)合計算治理 (Federated Computational Governance) (上午) |
計算治理的必要性：保障數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)合規(guī) 聯(lián)合計算治理的原則：領(lǐng)域自治、全局一致、協(xié)作治理 計算治理的具體措施： 定義數(shù)據(jù)標(biāo)準(zhǔn)與規(guī)范 實施數(shù)據(jù)質(zhì)量監(jiān)控與改進 建立數(shù)據(jù)安全與訪問控制策略 遵循數(shù)據(jù)合規(guī)要求 動手實踐：制定數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范，以及訪問控制策略 |
| 模塊 6：數(shù)據(jù)網(wǎng)格實施步驟與最佳實踐 (上午) |
評估企業(yè)是否適合采用數(shù)據(jù)網(wǎng)格：文化、組織、技術(shù) 制定數(shù)據(jù)網(wǎng)格實施計劃：范圍、階段、里程碑 選擇合適的試點項目：價值高、風(fēng)險低 構(gòu)建跨職能團隊：領(lǐng)域?qū)＜?、?shù)據(jù)工程師、數(shù)據(jù)科學(xué)家 培訓(xùn)與賦能：提升團隊的數(shù)據(jù)素養(yǎng)和技能 持續(xù)改進與迭代：根據(jù)反饋調(diào)整實施策略 動手實踐：根據(jù)企業(yè)自身情況評估是否適合數(shù)據(jù)網(wǎng)格 |
| 模塊 7：數(shù)據(jù)網(wǎng)格的技術(shù)實現(xiàn) (下午) |
數(shù)據(jù)集成技術(shù)：ETL, ELT, CDC, 數(shù)據(jù)虛擬化 數(shù)據(jù)存儲技術(shù)：對象存儲, 分布式文件系統(tǒng), 數(shù)據(jù)庫, 數(shù)據(jù)湖存儲 (如Delta Lake, Iceberg) 數(shù)據(jù)計算技術(shù)：Apache Spark, Presto, Flink, Dask, Serverless計算 API網(wǎng)關(guān)：Kong, Apigee, Tyk 元數(shù)據(jù)管理：Apache Atlas, Amundsen, DataHub 數(shù)據(jù)質(zhì)量管理：Deequ, Great Expectations 動手實踐：選擇適合不同數(shù)據(jù)產(chǎn)品的數(shù)據(jù)集成技術(shù)，并進行簡單配置 |
| 模塊 8：數(shù)據(jù)網(wǎng)格的組織結(jié)構(gòu)與文化變革 (下午) |
傳統(tǒng)數(shù)據(jù)團隊與數(shù)據(jù)網(wǎng)格團隊的對比 領(lǐng)域數(shù)據(jù)團隊的組建與職責(zé) 數(shù)據(jù)平臺團隊的職責(zé)與定位：提供自服務(wù)數(shù)據(jù)基礎(chǔ)設(shè)施 組織結(jié)構(gòu)調(diào)整：適應(yīng)數(shù)據(jù)網(wǎng)格的去中心化模式 數(shù)據(jù)文化的培養(yǎng)：數(shù)據(jù)驅(qū)動決策、數(shù)據(jù)共享、數(shù)據(jù)協(xié)作 動手實踐：設(shè)計適合特定企業(yè)的數(shù)據(jù)團隊組織結(jié)構(gòu) |
|
第三天：數(shù)據(jù)網(wǎng)格高級議題與未來展望 (可選) 模塊 9：數(shù)據(jù)網(wǎng)格的自動化與智能化 (上午) |
利用AI技術(shù)自動化數(shù)據(jù)質(zhì)量監(jiān)控與改進 利用機器學(xué)習(xí)實現(xiàn)智能數(shù)據(jù)發(fā)現(xiàn)與推薦 自動化數(shù)據(jù)血緣分析與影響分析 自動化安全策略配置與漏洞檢測 動手實踐：探索使用AI技術(shù)提升數(shù)據(jù)網(wǎng)格的自動化水平 |
| 模塊 10：數(shù)據(jù)網(wǎng)格的安全與隱私 (上午) |
數(shù)據(jù)網(wǎng)格的安全挑戰(zhàn)：去中心化帶來的安全風(fēng)險 數(shù)據(jù)安全的最佳實踐：身份驗證、授權(quán)、加密、數(shù)據(jù)脫敏、數(shù)據(jù)審計 差分隱私 (Differential Privacy) 聯(lián)邦學(xué)習(xí) (Federated Learning) 多方安全計算 (Secure Multi-Party Computation) 動手實踐：設(shè)計數(shù)據(jù)網(wǎng)格的安全策略 |
| 模塊 11：數(shù)據(jù)網(wǎng)格的治理框架與實踐 (下午) |
數(shù)據(jù)治理的挑戰(zhàn)：統(tǒng)一標(biāo)準(zhǔn)、協(xié)調(diào)沖突、保障合規(guī) 聯(lián)合計算治理的實現(xiàn)： 定義全局?jǐn)?shù)據(jù)標(biāo)準(zhǔn)與規(guī)范 建立領(lǐng)域自治的治理流程 實施跨領(lǐng)域的數(shù)據(jù)質(zhì)量監(jiān)控與改進 使用元數(shù)據(jù)管理工具進行治理協(xié)作 合規(guī)性需求：GDPR, CCPA等 動手實踐：設(shè)計適用于數(shù)據(jù)網(wǎng)格的治理框架 |
| 模塊 12：數(shù)據(jù)網(wǎng)格的未來發(fā)展趨勢 (下午) |
數(shù)據(jù)網(wǎng)格與云原生技術(shù)的融合 數(shù)據(jù)網(wǎng)格與實時數(shù)據(jù)處理的結(jié)合 數(shù)據(jù)網(wǎng)格與AI技術(shù)的深度集成 數(shù)據(jù)網(wǎng)格的應(yīng)用案例分享：金融、零售、醫(yī)療、制造 開放討論：學(xué)員分享對數(shù)據(jù)網(wǎng)格未來發(fā)展的看法 |
| 可選模塊 (根據(jù)客戶需求調(diào)整): |
特定數(shù)據(jù)網(wǎng)格平臺的實踐: 例如，使用AWS Lake Formation構(gòu)建數(shù)據(jù)網(wǎng)格。 領(lǐng)域驅(qū)動設(shè)計進階: 深入學(xué)習(xí)DDD的戰(zhàn)略和戰(zhàn)術(shù)設(shè)計。 數(shù)據(jù)產(chǎn)品管理: 如何像管理產(chǎn)品一樣管理數(shù)據(jù)，進行版本控制，發(fā)布和迭代。 |
| 工具與技術(shù): |
數(shù)據(jù)集成： Apache Kafka, Debezium, Airbyte, Fivetran, dbt 數(shù)據(jù)存儲： AWS S3, Azure Blob Storage, Google Cloud Storage, Delta Lake, Apache Iceberg, Apache Hudi 數(shù)據(jù)計算： Apache Spark, Presto, Trino, Dask, AWS Lambda, Azure Functions API 網(wǎng)關(guān)： Kong, Apigee, Tyk 元數(shù)據(jù)管理： Apache Atlas, Amundsen, DataHub, AWS Glue Data Catalog, Azure Purview, Google Cloud Data Catalog 數(shù)據(jù)質(zhì)量： Deequ, Great Expectations, Soda SQL |
|
第一天：數(shù)據(jù)網(wǎng)格核心概念與原則 模塊 1：傳統(tǒng)數(shù)據(jù)架構(gòu)的挑戰(zhàn)與數(shù)據(jù)網(wǎng)格的興起 (上午) 傳統(tǒng)數(shù)據(jù)倉庫、數(shù)據(jù)湖的局限性：集中式、煙囪式、響應(yīng)慢 數(shù)據(jù)孤島、數(shù)據(jù)蔓延、數(shù)據(jù)質(zhì)量差等數(shù)據(jù)管理難題 數(shù)據(jù)網(wǎng)格的定義、目標(biāo)和優(yōu)勢：面向業(yè)務(wù)、自治性、可擴展性 數(shù)據(jù)網(wǎng)格的核心原則： 領(lǐng)域所有權(quán)（Domain Ownership） 數(shù)據(jù)即產(chǎn)品（Data as a Product） 自服務(wù)數(shù)據(jù)平臺（Self-Serve Data Platform） 聯(lián)合計算治理（Federated Computational Governance） |
|
模塊 2：數(shù)據(jù)網(wǎng)格與領(lǐng)域驅(qū)動設(shè)計 (DDD) (上午) 領(lǐng)域驅(qū)動設(shè)計 (DDD) 的核心概念：領(lǐng)域、子領(lǐng)域、限界上下文 DDD在數(shù)據(jù)網(wǎng)格中的應(yīng)用：領(lǐng)域劃分、數(shù)據(jù)建模、服務(wù)設(shè)計 如何識別和定義數(shù)據(jù)網(wǎng)格中的數(shù)據(jù)領(lǐng)域 領(lǐng)域?qū)＜以跀?shù)據(jù)網(wǎng)格中的角色與職責(zé) 動手實踐：根據(jù)業(yè)務(wù)場景進行領(lǐng)域劃分和限界上下文定義 |
|
模塊 3：數(shù)據(jù)即產(chǎn)品 (Data as a Product) (下午) 什么是數(shù)據(jù)即產(chǎn)品？ 數(shù)據(jù)作為獨立的服務(wù)單元 數(shù)據(jù)產(chǎn)品的特性：可發(fā)現(xiàn)性、可尋址性、可理解性、可信賴性、互操作性、安全性 數(shù)據(jù)產(chǎn)品所有者的職責(zé)：數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)文檔、數(shù)據(jù)服務(wù) 如何設(shè)計和開發(fā)數(shù)據(jù)產(chǎn)品 數(shù)據(jù)產(chǎn)品的價值評估與運營 動手實踐：設(shè)計一個數(shù)據(jù)產(chǎn)品，并定義其特性和評估指標(biāo) |
|
模塊 4：自服務(wù)數(shù)據(jù)平臺 (Self-Serve Data Platform) (下午) 自服務(wù)數(shù)據(jù)平臺的定義和目標(biāo)：簡化數(shù)據(jù)訪問、降低技術(shù)門檻 自服務(wù)數(shù)據(jù)平臺的核心功能： 數(shù)據(jù)發(fā)現(xiàn)與目錄 數(shù)據(jù)攝取與集成 數(shù)據(jù)轉(zhuǎn)換與清洗 數(shù)據(jù)分析與可視化 數(shù)據(jù)安全與治理 如何選擇和構(gòu)建自服務(wù)數(shù)據(jù)平臺 開源工具與云平臺服務(wù)：Apache Atlas, AWS Glue, Azure Purview, Google Cloud Dataproc 動手實踐：評估和選擇適用于特定場景的自服務(wù)數(shù)據(jù)平臺工具 |
|
第二天：數(shù)據(jù)網(wǎng)格實施與治理 模塊 5：聯(lián)合計算治理 (Federated Computational Governance) (上午) 計算治理的必要性：保障數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)合規(guī) 聯(lián)合計算治理的原則：領(lǐng)域自治、全局一致、協(xié)作治理 計算治理的具體措施： 定義數(shù)據(jù)標(biāo)準(zhǔn)與規(guī)范 實施數(shù)據(jù)質(zhì)量監(jiān)控與改進 建立數(shù)據(jù)安全與訪問控制策略 遵循數(shù)據(jù)合規(guī)要求 動手實踐：制定數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范，以及訪問控制策略 |
|
模塊 6：數(shù)據(jù)網(wǎng)格實施步驟與最佳實踐 (上午) 評估企業(yè)是否適合采用數(shù)據(jù)網(wǎng)格：文化、組織、技術(shù) 制定數(shù)據(jù)網(wǎng)格實施計劃：范圍、階段、里程碑 選擇合適的試點項目：價值高、風(fēng)險低 構(gòu)建跨職能團隊：領(lǐng)域?qū)＜?、?shù)據(jù)工程師、數(shù)據(jù)科學(xué)家 培訓(xùn)與賦能：提升團隊的數(shù)據(jù)素養(yǎng)和技能 持續(xù)改進與迭代：根據(jù)反饋調(diào)整實施策略 動手實踐：根據(jù)企業(yè)自身情況評估是否適合數(shù)據(jù)網(wǎng)格 |
|
模塊 7：數(shù)據(jù)網(wǎng)格的技術(shù)實現(xiàn) (下午) 數(shù)據(jù)集成技術(shù)：ETL, ELT, CDC, 數(shù)據(jù)虛擬化 數(shù)據(jù)存儲技術(shù)：對象存儲, 分布式文件系統(tǒng), 數(shù)據(jù)庫, 數(shù)據(jù)湖存儲 (如Delta Lake, Iceberg) 數(shù)據(jù)計算技術(shù)：Apache Spark, Presto, Flink, Dask, Serverless計算 API網(wǎng)關(guān)：Kong, Apigee, Tyk 元數(shù)據(jù)管理：Apache Atlas, Amundsen, DataHub 數(shù)據(jù)質(zhì)量管理：Deequ, Great Expectations 動手實踐：選擇適合不同數(shù)據(jù)產(chǎn)品的數(shù)據(jù)集成技術(shù)，并進行簡單配置 |
|
模塊 8：數(shù)據(jù)網(wǎng)格的組織結(jié)構(gòu)與文化變革 (下午) 傳統(tǒng)數(shù)據(jù)團隊與數(shù)據(jù)網(wǎng)格團隊的對比 領(lǐng)域數(shù)據(jù)團隊的組建與職責(zé) 數(shù)據(jù)平臺團隊的職責(zé)與定位：提供自服務(wù)數(shù)據(jù)基礎(chǔ)設(shè)施 組織結(jié)構(gòu)調(diào)整：適應(yīng)數(shù)據(jù)網(wǎng)格的去中心化模式 數(shù)據(jù)文化的培養(yǎng)：數(shù)據(jù)驅(qū)動決策、數(shù)據(jù)共享、數(shù)據(jù)協(xié)作 動手實踐：設(shè)計適合特定企業(yè)的數(shù)據(jù)團隊組織結(jié)構(gòu) |
|
第三天：數(shù)據(jù)網(wǎng)格高級議題與未來展望 (可選) 模塊 9：數(shù)據(jù)網(wǎng)格的自動化與智能化 (上午) 利用AI技術(shù)自動化數(shù)據(jù)質(zhì)量監(jiān)控與改進 利用機器學(xué)習(xí)實現(xiàn)智能數(shù)據(jù)發(fā)現(xiàn)與推薦 自動化數(shù)據(jù)血緣分析與影響分析 自動化安全策略配置與漏洞檢測 動手實踐：探索使用AI技術(shù)提升數(shù)據(jù)網(wǎng)格的自動化水平 |
|
模塊 10：數(shù)據(jù)網(wǎng)格的安全與隱私 (上午) 數(shù)據(jù)網(wǎng)格的安全挑戰(zhàn)：去中心化帶來的安全風(fēng)險 數(shù)據(jù)安全的最佳實踐：身份驗證、授權(quán)、加密、數(shù)據(jù)脫敏、數(shù)據(jù)審計 差分隱私 (Differential Privacy) 聯(lián)邦學(xué)習(xí) (Federated Learning) 多方安全計算 (Secure Multi-Party Computation) 動手實踐：設(shè)計數(shù)據(jù)網(wǎng)格的安全策略 |
|
模塊 11：數(shù)據(jù)網(wǎng)格的治理框架與實踐 (下午) 數(shù)據(jù)治理的挑戰(zhàn)：統(tǒng)一標(biāo)準(zhǔn)、協(xié)調(diào)沖突、保障合規(guī) 聯(lián)合計算治理的實現(xiàn)： 定義全局?jǐn)?shù)據(jù)標(biāo)準(zhǔn)與規(guī)范 建立領(lǐng)域自治的治理流程 實施跨領(lǐng)域的數(shù)據(jù)質(zhì)量監(jiān)控與改進 使用元數(shù)據(jù)管理工具進行治理協(xié)作 合規(guī)性需求：GDPR, CCPA等 動手實踐：設(shè)計適用于數(shù)據(jù)網(wǎng)格的治理框架 |
|
模塊 12：數(shù)據(jù)網(wǎng)格的未來發(fā)展趨勢 (下午) 數(shù)據(jù)網(wǎng)格與云原生技術(shù)的融合 數(shù)據(jù)網(wǎng)格與實時數(shù)據(jù)處理的結(jié)合 數(shù)據(jù)網(wǎng)格與AI技術(shù)的深度集成 數(shù)據(jù)網(wǎng)格的應(yīng)用案例分享：金融、零售、醫(yī)療、制造 開放討論：學(xué)員分享對數(shù)據(jù)網(wǎng)格未來發(fā)展的看法 |
|
可選模塊 (根據(jù)客戶需求調(diào)整): 特定數(shù)據(jù)網(wǎng)格平臺的實踐: 例如，使用AWS Lake Formation構(gòu)建數(shù)據(jù)網(wǎng)格。 領(lǐng)域驅(qū)動設(shè)計進階: 深入學(xué)習(xí)DDD的戰(zhàn)略和戰(zhàn)術(shù)設(shè)計。 數(shù)據(jù)產(chǎn)品管理: 如何像管理產(chǎn)品一樣管理數(shù)據(jù)，進行版本控制，發(fā)布和迭代。 |
|
工具與技術(shù): 數(shù)據(jù)集成： Apache Kafka, Debezium, Airbyte, Fivetran, dbt 數(shù)據(jù)存儲： AWS S3, Azure Blob Storage, Google Cloud Storage, Delta Lake, Apache Iceberg, Apache Hudi 數(shù)據(jù)計算： Apache Spark, Presto, Trino, Dask, AWS Lambda, Azure Functions API 網(wǎng)關(guān)： Kong, Apigee, Tyk 元數(shù)據(jù)管理： Apache Atlas, Amundsen, DataHub, AWS Glue Data Catalog, Azure Purview, Google Cloud Data Catalog 數(shù)據(jù)質(zhì)量： Deequ, Great Expectations, Soda SQL |
近期公開課推薦
