課程簡介

本課程深入探索大模型技術(shù)開發(fā)與應(yīng)用，涵蓋大模型生態(tài)、技術(shù)架構(gòu)、Prompt Engineering及Open API調(diào)用等核心內(nèi)容。通過實踐案例，學(xué)員將掌握大模型預(yù)訓(xùn)練、微調(diào)、量化及安全防護等關(guān)鍵技術(shù)，并了解如何運用Embeddings構(gòu)建向量知識庫，以及MetaGPT智能體開發(fā)。課程注重理論與實踐結(jié)合，旨在培養(yǎng)學(xué)員在大模型技術(shù)領(lǐng)域的綜合能力和創(chuàng)新思維。

目標收益

培訓(xùn)對象

課程內(nèi)容

第一天
一，大模型應(yīng)用開發(fā)基礎(chǔ)
1.大模型生態(tài)介紹
2.AIGC技術(shù)發(fā)展
3.國內(nèi)大模型對比
4.大模型應(yīng)用業(yè)務(wù)架構(gòu)
1. Copilot
2. Agent
5.大模型應(yīng)用技術(shù)架構(gòu)
1. 純 Prompt
2. Agent + Function Calling
3. Embeddings + 向量數(shù)據(jù)庫
4. Fine-tuning
6.InstructGPT和RLHF人類反饋強化學(xué)習(xí)介紹
二，Prompt Engineering
1.提示工程SRGCD復(fù)雜場景通用模型介紹
2. Prompt 典型構(gòu)成
3. 指令調(diào)優(yōu)方法論
1. 角色定義的原理
2. 限制輸出格式
3. NLU 和 NLG
4. Few-shot
4. 思維鏈和思維樹
5. Prompt 攻擊和防范
6. 內(nèi)容審核
7. OpenAI API 總結(jié)
案例 1: 客服對話機器人
案例 2: 客服對話質(zhì)檢
案例 3: 指標解讀+項目推薦
三，Open API調(diào)用實例
1.開發(fā)環(huán)境安裝
案例 1: 基礎(chǔ)使用實例
案例 2: 推理實例
案例 3: 參數(shù)介紹
案例 4: 制作訂餐機器人實例
案例 5: 批量評論分類實例
案例 6: 字生成語音實例
四，通過Function Calling打通大模型與公司內(nèi)部系統(tǒng)
1.大模型與公司其他系統(tǒng)怎么配合使用
2.Function Calling機制原理
案例 1: Function Calling調(diào)用本地函數(shù)
案例 2: 多 Function 輪流調(diào)用和同時調(diào)用
案例 3: 用 Function Calling 構(gòu)造 JSON
案例 4 從自然語言生成 SQL 語句
案例 5: 使用提示詞，通過 Function Calling 查詢數(shù)據(jù)庫
案例 6: 使用提示詞，通過 Function Calling 實現(xiàn)多表查詢
五，大模型在開發(fā)方面的應(yīng)用
1.GitHub Copilot
2.Copilot 的平替
1. 國產(chǎn)開源 CodeGeeX
2. 可本機部署的 Tabby
3. Bito、Amazon CodeWhisperer、Cursor、Tabine
3. 更多開源編程大模型
1. Code Llama
2. 姜子牙 Ziya-Coding-15B-v1
3. CodeFuse-CodeLlama-34B
4. WizardCoder
案例1： 通義寫代碼演示
第二天
一，大模型預(yù)訓(xùn)練/微調(diào)硬件需求介紹
1、模型精度與GPU的關(guān)系
2、不同模型需要的硬件資源計算
3、不同型號GPU對比
4、大模型技術(shù)應(yīng)用中硬件和操作系統(tǒng)要求
5、開源大模型部署、推理、微調(diào)過程中硬件要求
6、私有化部署硬件購買建議
7、并行訓(xùn)練介紹
1）數(shù)據(jù)并行
2）模型并行
3）流水線并行
二，Transformer模型量化
1.三個Transformer量化庫介紹
案例1：使用GPTQ 對模型opt-2.7b量化
案例2：使用AWQ對模型opt-2.7b量化
案例3： BitsAndBytes量化
三，大模型微調(diào)技術(shù)體系介紹
1.什么訓(xùn)練/預(yù)訓(xùn)練/微調(diào)/輕量化微調(diào)
2.輕量化微調(diào)
1.Prompt Tuning
2.P-Tuning
3. Prefix Tuning
4. LoRA
5. QLoRA
6. AdaLoRA
3.微調(diào)各參數(shù)詳細介紹
案例1：peft_lora微調(diào)whisper-large-v2
案例2：peft_lora微調(diào)opt-6.7b
四，介紹一個開源大模型預(yù)訓(xùn)練過程
1.預(yù)訓(xùn)練數(shù)據(jù)構(gòu)建
2.中文字典構(gòu)建
3.預(yù)訓(xùn)練目標構(gòu)建
4.訓(xùn)練參數(shù)和數(shù)據(jù)量的關(guān)系介紹
5.訓(xùn)練技巧
6.RLHF訓(xùn)練
案例1：對GPT-2預(yù)訓(xùn)練
五，介紹一個基于開源大模型微調(diào)金融垂直領(lǐng)域模型的過程
1.分階段訓(xùn)練金融大模型
2.數(shù)據(jù)準備：為金融大模型構(gòu)建高質(zhì)量訓(xùn)練語料
3.高頻使用的清洗算子示例
4.增量預(yù)訓(xùn)練：確定金融大模型的最佳數(shù)據(jù)配比
5.構(gòu)造豐富多樣的通用和金融指令數(shù)據(jù)
6.指令構(gòu)造示例
7.微調(diào)階段
8.價值對齊
9.金融大模型迭代路徑
六，大模型微調(diào)實踐
1.基于ChatGLM3-6B或者Llama2-7B 微調(diào)一個同時具有NLU和問答能力酒店客服對話機器人
2.數(shù)據(jù)準備
3.數(shù)據(jù)增強
4.數(shù)據(jù)基本拼接方式
5.多輪對話拼接
案例1：基于 Prefix-Tuning 微調(diào) ChatGLM3-6B
案例2：基于 LoRA 微調(diào) ChatGLM3-6B
案例3：基于 QLoRA 微調(diào) Llama2-7B
七，模型評測
1、評測方法介紹
客觀評測
主觀評測
2、評測基準介紹
1）SuperCLUE：中文通用大模型綜合性基準
2）C-Eval 中文測評基準
3）MMLU/CMMLU
4）AGIEval
5）GSM8K
6）GaoKao
3、評測數(shù)據(jù)集介紹
4、模型排行榜介紹
案例1：使用一個開源評測平臺，對ChatGLM3-6B測評
八，大模型安全風(fēng)險和防護策略
1、Prompt注入攻擊
攻擊原理
安全攻擊方式
攻擊場景
攻擊防御
2、大模型風(fēng)險
數(shù)據(jù)隱私泄露風(fēng)險
數(shù)據(jù)偏見和歧視問題
社會倫理挑戰(zhàn)
模型失控風(fēng)險
3、大模型風(fēng)險防護策略
魯棒性
可靠性
隱私性
公平性
可解釋性
4、大模型安全評測平臺介紹
5、內(nèi)容審核：Moderation API
第三天
一，大模型基于Embeddings的向量知識庫
1.什么是檢索增強的生成模型（RAG）
2.什么是向量表示（Embeddings）
5. RAG 系統(tǒng)的基本搭建流程
6. 基于向量檢索的 RAG，代碼演示
7. 實戰(zhàn) RAG 系統(tǒng)的進階知識
8. 向量模型本地部署
案例1：基于RAG的對話機器人
二，LangChain
1. 模型 I/O 封裝
2. 數(shù)據(jù)連接封裝
3. 記憶封裝：Memory
4. 鏈架構(gòu)：Chain/LCEL
5. 大模型時代的軟件架構(gòu)：Agent
案例1
三，大模型優(yōu)化工具鏈
1. 如何維護一個生產(chǎn)級的 LLM 應(yīng)用
2. LangFuse 平臺
1. 平臺注冊與鏈接
2. 記錄與追蹤 LLM 的調(diào)用記錄
3. 構(gòu)建回歸測試集
4. Prompt 調(diào)優(yōu)與回歸測試
5. Prompt 版本管理(beta)
6. 更多評測標準簡介
3. LangSmith 平臺
1. 基本功能
1. LLM 調(diào)用記錄
2. Playground
2. 數(shù)據(jù)集管理
3. 回歸測試
4. Prompt Flow
1. VSCode 插件
2. 與 SK 結(jié)合使用
四，MetaGPT 讓每個人擁有專屬智能體
1. MetaGPT 簡介
2. MetaGPT 框架整體機制介紹
3. 構(gòu)建你的第一個智能體
1. 單動作智能體
2. 多動作智能體
3. 思考和動作選擇機制
4. 構(gòu)建你的第一個多智能體團隊
1. SOP 構(gòu)建
2. 多智能體交互機制
5. 引入人類交互
五，Agent 智能體開發(fā)項目實戰(zhàn)
1. 設(shè)計 ReAct 的 Prompt 模板
2. 設(shè)計長時和短時 Memory
3. 實現(xiàn) AutoGPT 的主流程
4. 設(shè)計魯棒的糾偏策略，防止死循環(huán)
案例1：封裝自己的 Tools
案例2：運行自己的 AutoGPT 助手！