課程簡(jiǎn)介

理解 Data + AI 的核心概念、架構(gòu)和優(yōu)勢(shì)。
掌握構(gòu)建 Data + AI 應(yīng)用的關(guān)鍵技術(shù)，包括數(shù)據(jù)工程、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和模型部署。
學(xué)習(xí)如何在數(shù)據(jù)平臺(tái)上集成 AI 能力，實(shí)現(xiàn)智能化的數(shù)據(jù)處理和分析。
掌握Data + AI 的相關(guān)應(yīng)用場(chǎng)景和最佳實(shí)踐
能夠構(gòu)建自己的 Data + AI 原型系統(tǒng)，并解決實(shí)際業(yè)務(wù)問題。
了解在數(shù)據(jù)分析中運(yùn)用 LLM 大語(yǔ)言模型
理解智能風(fēng)控，智能運(yùn)維等案例

目標(biāo)收益

培訓(xùn)對(duì)象

數(shù)據(jù)工程師、數(shù)據(jù)科學(xué)家、機(jī)器學(xué)習(xí)工程師、數(shù)據(jù)分析師、以及對(duì) Data + AI 感興趣的技術(shù)人員。

課程內(nèi)容

第一天：Data + AI 基礎(chǔ)與數(shù)據(jù)工程
?模塊 1：Data + AI 概述 (上午)
o什么是 Data + AI？定義、目標(biāo)和優(yōu)勢(shì)
oData + AI 的核心理念：數(shù)據(jù)驅(qū)動(dòng)、智能決策、自動(dòng)化流程
oData + AI 的應(yīng)用場(chǎng)景：智能推薦、預(yù)測(cè)分析、自然語(yǔ)言處理、圖像識(shí)別
oData + AI 的架構(gòu)與核心組件：數(shù)據(jù)源、數(shù)據(jù)平臺(tái)、AI引擎、應(yīng)用服務(wù)
?模塊 2：數(shù)據(jù)工程 (上午)
o數(shù)據(jù)工程的定義與目標(biāo)：構(gòu)建可靠、高效的數(shù)據(jù)管道
o數(shù)據(jù)工程的核心任務(wù)：數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)存儲(chǔ)
o數(shù)據(jù)工程的技術(shù)選型：ETL工具、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖、數(shù)據(jù)治理
o動(dòng)手實(shí)踐：構(gòu)建數(shù)據(jù)管道，從多個(gè)數(shù)據(jù)源采集數(shù)據(jù)
?模塊 3：數(shù)據(jù)湖與數(shù)據(jù)倉(cāng)庫(kù) (下午)
o數(shù)據(jù)湖與數(shù)據(jù)倉(cāng)庫(kù)的對(duì)比：結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)
o數(shù)據(jù)湖的架構(gòu)與特點(diǎn)：靈活存儲(chǔ)、Schema-on-Read、低成本
o數(shù)據(jù)倉(cāng)庫(kù)的架構(gòu)與特點(diǎn)：結(jié)構(gòu)化存儲(chǔ)、Schema-on-Write、高性能查詢
o湖倉(cāng)一體 (Lakehouse) 的優(yōu)勢(shì)：結(jié)合數(shù)據(jù)湖的靈活性和數(shù)據(jù)倉(cāng)庫(kù)的性能
o動(dòng)手實(shí)踐：在云平臺(tái)上搭建數(shù)據(jù)湖或數(shù)據(jù)倉(cāng)庫(kù)
?模塊 4：數(shù)據(jù)治理 (下午)
o數(shù)據(jù)治理的定義與目標(biāo)：確保數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)合規(guī)
o數(shù)據(jù)治理的核心任務(wù)：元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)安全管理
o數(shù)據(jù)治理的技術(shù)選型：數(shù)據(jù)目錄、數(shù)據(jù)血緣、數(shù)據(jù)脫敏、訪問控制
o動(dòng)手實(shí)踐：實(shí)施數(shù)據(jù)治理策略，保障數(shù)據(jù)質(zhì)量和安全
第二天：機(jī)器學(xué)習(xí)與深度學(xué)習(xí)
?模塊 5：機(jī)器學(xué)習(xí)基礎(chǔ) (上午)
o機(jī)器學(xué)習(xí)的定義與類型：監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)
o常用的機(jī)器學(xué)習(xí)算法：線性回歸、邏輯回歸、決策樹、支持向量機(jī)(SVM)、K均值聚類
o模型評(píng)估指標(biāo)：準(zhǔn)確率、召回率、F1值、AUC
o使用Python和Scikit-learn構(gòu)建簡(jiǎn)單的機(jī)器學(xué)習(xí)模型
o動(dòng)手實(shí)踐：使用Scikit-learn構(gòu)建一個(gè)簡(jiǎn)單的分類模型
?模塊 6：深度學(xué)習(xí)基礎(chǔ) (上午)
o深度學(xué)習(xí)的定義與特點(diǎn)：多層神經(jīng)網(wǎng)絡(luò)、自動(dòng)特征提取
o常用的深度學(xué)習(xí)算法：卷積神經(jīng)網(wǎng)絡(luò) (CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò) (RNN)、Transformer
o深度學(xué)習(xí)的應(yīng)用場(chǎng)景：圖像識(shí)別、自然語(yǔ)言處理、語(yǔ)音識(shí)別
o使用TensorFlow或PyTorch構(gòu)建簡(jiǎn)單的深度學(xué)習(xí)模型
o動(dòng)手實(shí)踐：使用TensorFlow構(gòu)建一個(gè)簡(jiǎn)單的圖像分類模型
?模塊 7：自然語(yǔ)言處理 (NLP) (下午)
oNLP的基礎(chǔ)概念：詞向量、文本分類、情感分析、命名實(shí)體識(shí)別
oNLP在Data + AI中的應(yīng)用：
?文本數(shù)據(jù)分析：客戶評(píng)論分析、輿情分析、文本挖掘
?智能報(bào)告生成：自動(dòng)生成報(bào)告摘要、關(guān)鍵發(fā)現(xiàn)
?自然語(yǔ)言查詢 (NL2SQL)：使用自然語(yǔ)言進(jìn)行數(shù)據(jù)查詢
o使用Transformers庫(kù)進(jìn)行自然語(yǔ)言處理
o動(dòng)手實(shí)踐：使用NLP工具進(jìn)行文本數(shù)據(jù)分析
?模塊 8：推薦系統(tǒng) (下午)
o推薦系統(tǒng)的定義與目標(biāo)：個(gè)性化推薦、提升用戶體驗(yàn)
o常用的推薦算法：
?協(xié)同過(guò)濾 (Collaborative Filtering)
?基于內(nèi)容的推薦 (Content-Based Recommendation)
?深度學(xué)習(xí)推薦模型 (Deep Learning Recommendation Model)
o使用TensorFlow或PyTorch構(gòu)建簡(jiǎn)單的推薦系統(tǒng)
o動(dòng)手實(shí)踐：構(gòu)建一個(gè)基于協(xié)同過(guò)濾的推薦系統(tǒng)
第三天：Data + AI 應(yīng)用案例與實(shí)踐 (選擇性學(xué)習(xí))
?模塊 9： Data + AI應(yīng)用案例學(xué)習(xí)與分析(根據(jù)實(shí)際情況選擇)
o案例1：基于AI的智能推薦系統(tǒng)
o案例2：基于NLP的智能客服機(jī)器人
o案例3：基于圖像識(shí)別的智能質(zhì)檢系統(tǒng)
o案例4：基于時(shí)間序列預(yù)測(cè)的智能風(fēng)控系統(tǒng)
o案例5：基于Data + AI 的智能運(yùn)維系統(tǒng)
o案例分析：技術(shù)架構(gòu)、實(shí)現(xiàn)步驟、挑戰(zhàn)與解決方案
o動(dòng)手實(shí)踐：將現(xiàn)有程序進(jìn)行Data + AI 能力強(qiáng)化改造
?模塊 10： LLM 在 Data + AI 的應(yīng)用 (實(shí)踐學(xué)習(xí))
o探索 LLM (大型語(yǔ)言模型)在數(shù)據(jù)分析領(lǐng)域的應(yīng)用場(chǎng)景
o利用 LLM 進(jìn)行數(shù)據(jù)清洗，數(shù)據(jù)轉(zhuǎn)換，數(shù)據(jù)增強(qiáng)
o利用 LLM 生成和優(yōu)化數(shù)據(jù)分析代碼，例如 SQL 代碼
o利用 LLM 進(jìn)行數(shù)據(jù)可視化，輔助數(shù)據(jù)洞察
o動(dòng)手實(shí)踐：使用 OpenAI API 和 Langchain 自動(dòng)生成數(shù)據(jù)質(zhì)量檢測(cè)規(guī)則，并進(jìn)行數(shù)據(jù)探索
?模塊 11-13 (三選一)：高級(jí) Data + AI 主題
o(A) 強(qiáng)化學(xué)習(xí)在 Data + AI 中的應(yīng)用
?強(qiáng)化學(xué)習(xí)算法：Q-learning, SARSA, DQN, PPO
?環(huán)境建模與獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)
?智能體訓(xùn)練與優(yōu)化
o(B) 圖神經(jīng)網(wǎng)絡(luò)在Data + AI 中的應(yīng)用
?圖神經(jīng)網(wǎng)絡(luò)的架構(gòu)、應(yīng)用場(chǎng)景、訓(xùn)練技巧
?知識(shí)圖譜的構(gòu)建與應(yīng)用
o(C) Data + AI 的安全與隱私高級(jí)議題
?差分隱私
?聯(lián)邦學(xué)習(xí)
?多方安全計(jì)算
o動(dòng)手實(shí)踐：選擇自己感興趣的高級(jí)方向進(jìn)行實(shí)戰(zhàn)編碼
?模塊 12：Data + AI 的未來(lái)展望
oData + AI 的未來(lái)發(fā)展趨勢(shì)：
?自動(dòng)化機(jī)器學(xué)習(xí) (AutoML)
?可解釋AI (XAI)
?聯(lián)邦學(xué)習(xí) (Federated Learning)
o開放討論：學(xué)員分享對(duì)Data + AI 未來(lái)發(fā)展的看法
o分享 Data + AI 相關(guān)項(xiàng)目經(jīng)驗(yàn)以及踩坑經(jīng)驗(yàn)
第四天（可選）：Data + AI 項(xiàng)目實(shí)戰(zhàn)
?模塊 13：Data + AI 項(xiàng)目選題與需求分析
o介紹Data + AI 的一些典型應(yīng)用場(chǎng)景， 并根據(jù)場(chǎng)景和項(xiàng)目難易程度劃分
o根據(jù)實(shí)際情況，選擇Data + AI的結(jié)合點(diǎn)，并確定項(xiàng)目目標(biāo)
o根據(jù)目標(biāo)確定項(xiàng)目評(píng)估指標(biāo)和結(jié)果報(bào)告
?模塊 14：Data + AI 項(xiàng)目架構(gòu)設(shè)計(jì)與具體實(shí)現(xiàn)
o學(xué)習(xí)Data + AI 結(jié)合的項(xiàng)目流程，例如：數(shù)據(jù)采集，數(shù)據(jù)提取，數(shù)據(jù)清洗， 特征提取，模型訓(xùn)練，結(jié)果可視化
oData + AI 項(xiàng)目代碼編寫和代碼測(cè)試
?模塊 15：Data + AI 項(xiàng)目測(cè)試及報(bào)告生成
o測(cè)試Data + AI 模型，并且給出報(bào)告及改進(jìn)建議
?模塊 16：Data + AI 項(xiàng)目部署
o學(xué)習(xí)如何部署Data + AI 模型到不同的平臺(tái)以及注意事項(xiàng)
?可選：分組進(jìn)行Data + AI 項(xiàng)目實(shí)戰(zhàn)
o以小組形式，模擬真實(shí)Data + AI 項(xiàng)目的開發(fā)過(guò)程
工具與技術(shù)：
?數(shù)據(jù)湖存儲(chǔ)：AWS S3, Azure Blob Storage, Google Cloud Storage, Delta Lake, Apache Iceberg, Apache Hudi
?數(shù)據(jù)倉(cāng)庫(kù)：Snowflake, Amazon Redshift, Google BigQuery
?數(shù)據(jù)計(jì)算：Apache Spark, Presto, Trino, Flink
?數(shù)據(jù)集成：Apache Kafka, Apache NiFi, AWS Kinesis, Azure Event Hubs, Google Cloud Dataflow
?機(jī)器學(xué)習(xí)：Scikit-learn, TensorFlow, PyTorch
?LLM 相關(guān)： OpenAI API, Langchain
?API調(diào)用：RESTful API
?數(shù)據(jù)可視化：Tableau, Power BI, Grafana
?云平臺(tái)：AWS, Azure, Google Cloud