課程簡(jiǎn)介

本課程通過(guò)深入的技術(shù)講解和實(shí)戰(zhàn)演練，全面覆蓋大模型的各個(gè)核心技術(shù)領(lǐng)域。課程從AIGC基礎(chǔ)知識(shí)入手，逐步深入到大模型提示工程、數(shù)據(jù)構(gòu)造與清洗、參數(shù)微調(diào)等技術(shù)。在進(jìn)階環(huán)節(jié)，學(xué)員將學(xué)習(xí)到大模型中的RLHF、分布式訓(xùn)練方法、推理加速技術(shù)等，并探索多模態(tài)大模型的前沿應(yīng)用。課程還包含RAG技術(shù)、大模型微淘及應(yīng)用等多個(gè)項(xiàng)目實(shí)戰(zhàn)。此外，通過(guò)一系列企業(yè)案例分析，學(xué)員將了解如何將大模型成功落地到智能問(wèn)答、知識(shí)圖譜等實(shí)際場(chǎng)景中。通過(guò)理論與實(shí)戰(zhàn)的結(jié)合，課程旨在幫助學(xué)員提升在大模型開(kāi)發(fā)、優(yōu)化與落地應(yīng)用中的綜合能力。課程特別適合技術(shù)團(tuán)隊(duì)、AI從業(yè)者及企業(yè)負(fù)責(zé)人，幫助學(xué)員在AI技術(shù)領(lǐng)域得到提升，幫助企業(yè)挖掘業(yè)務(wù)場(chǎng)景，探索并交流大模型項(xiàng)目交付的技巧與經(jīng)驗(yàn)。

目標(biāo)收益

培訓(xùn)對(duì)象

課程內(nèi)容

第一天上午
大模型基礎(chǔ)概述（90分鐘）
1、介紹人工智能生成創(chuàng)作（AIGC）領(lǐng)域的基本概念、應(yīng)用和發(fā)展趨勢(shì)，相關(guān)場(chǎng)景及算法基礎(chǔ)邏輯介紹
2、大模型基礎(chǔ)技術(shù)概述，介紹深度學(xué)習(xí)相關(guān)基礎(chǔ)與Transformers系列介紹
大模型提示工程（60分鐘）
1、介紹大模型提示工程原理，簡(jiǎn)述CoT相關(guān)技術(shù)鏈
2、模型中的提示詞設(shè)計(jì)及優(yōu)化技巧
3、多場(chǎng)景提示詞設(shè)計(jì)介紹
大模型調(diào)用方法（30分鐘）
1、類OpenAI大模型接口介紹與實(shí)戰(zhàn)
第一天下午
主流開(kāi)源語(yǔ)言大模型介紹與領(lǐng)域大模型簡(jiǎn)述（120分鐘）
1、主流大模型介紹，如GLM、Llama、bloom、MOSS、Baichuan、Qwen、Skywork等
2、領(lǐng)域大模型介紹——法律、醫(yī)療、金融、教育等領(lǐng)域大模型介紹
大模型中的RLHF（60分鐘）
1、簡(jiǎn)述模型中的獎(jiǎng)勵(lì)模型，包括介紹獎(jiǎng)勵(lì)模型基礎(chǔ)、數(shù)據(jù)設(shè)計(jì)及模型訓(xùn)練方法
2、強(qiáng)化學(xué)習(xí)基礎(chǔ)介紹，PPO算法代碼與原理詳解、
3、前沿偏好對(duì)齊算法介紹——RRHF、RLAIF、DPO、APO等
第二天上午
大語(yǔ)言模的數(shù)據(jù)構(gòu)造與SFT（90分鐘）
1、大模型中的數(shù)據(jù)構(gòu)造與清洗方法綜合介紹
2、常用參數(shù)微調(diào)方法——Prefix Tuning、P-Tuning、LoRA
3、微調(diào)方法進(jìn)階——DyLoRA、AdaLoRA、QLoRA、QALoRA、LongLoRA、VERA、S-LoRA
分布式訓(xùn)練方法（60分鐘）
1、介紹當(dāng)前常用的模型分布式計(jì)算方法，詳細(xì)介紹數(shù)據(jù)并行、向量并行、流式并行的多種并行策略等
2、介紹常見(jiàn)的分布式訓(xùn)練框架，如Megatron、DeepSpeed、Colossal-AI、FairScale等分布式訓(xùn)練框架介紹
3、DeepSpeed框架詳述，介紹ZeRO-1、ZeRO-2、ZeRO-3多種分布式策略
大模型微調(diào)（30分鐘）
以問(wèn)數(shù)場(chǎng)景為例，進(jìn)行大模型訓(xùn)練微調(diào)實(shí)戰(zhàn)
第二天下午
大模型中的Agent技術(shù)（60分鐘）
1、CoT基礎(chǔ)原理介紹
2、Agent基礎(chǔ)概述、主要模塊與決策機(jī)制
3、主流Agent框架介紹——LlamaIndex框架、AutoGPT框架、AutoGen框架、SuperAGI框架
多模態(tài)大模型中的文生圖技術(shù)（90分鐘）
1、基于文本生成圖像的算法和模型介紹：介紹文本到圖像的生成模型，文本生成圖像方法，如DALL?E、CLIP、GLIDE、DALL?E 2等模型介紹
2、介紹大模型的圖片生成文本技術(shù)的核心原理
3、介紹主流圖片生成文本大模型——QwenVL系列、Intern-VL系列等
多模態(tài)大模型應(yīng)用（30分鐘）
以表格解析為應(yīng)用場(chǎng)景，進(jìn)行多模態(tài)大模型應(yīng)用
第三天上午
大模型中的推理加速（60分鐘）
1、介紹大模型推理加速中的量化方法
2、介紹常用大模型推理加速框架——vLLM、FastLLM、Slang等
大模型與RAG（90分鐘）
1、介紹RAG相關(guān)原理
2、向量數(shù)據(jù)庫(kù)介紹——Faiss、Milvus、Pinecone、Weaviate等
3、介紹RAG應(yīng)用場(chǎng)景及相關(guān)技巧
大模型RAG搭建（30分鐘）
1、LangChain框架及概念介紹
搭建大模型RAG
大模型企業(yè)落地案例解析（90分鐘）
1、大模型企業(yè)落地場(chǎng)景介紹，包括智能問(wèn)答、知識(shí)庫(kù)、知識(shí)圖譜于大模型融合案例等
2、大模型應(yīng)用落地案例分享
分組頭腦風(fēng)暴（互動(dòng)）（60分鐘）
設(shè)計(jì)面向大模型的企業(yè)應(yīng)用場(chǎng)景
答疑與交流（30分鐘）