課程簡(jiǎn)介
本課程通過(guò)深入的技術(shù)講解和實(shí)戰(zhàn)演練,全面覆蓋大模型的各個(gè)核心技術(shù)領(lǐng)域。課程從AIGC基礎(chǔ)知識(shí)入手,逐步深入到大模型提示工程、數(shù)據(jù)構(gòu)造與清洗、參數(shù)微調(diào)等技術(shù)。在進(jìn)階環(huán)節(jié),學(xué)員將學(xué)習(xí)到大模型中的RLHF、分布式訓(xùn)練方法、推理加速技術(shù)等,并探索多模態(tài)大模型的前沿應(yīng)用。課程還包含RAG技術(shù)、大模型微淘及應(yīng)用等多個(gè)項(xiàng)目實(shí)戰(zhàn)。此外,通過(guò)一系列企業(yè)案例分析,學(xué)員將了解如何將大模型成功落地到智能問(wèn)答、知識(shí)圖譜等實(shí)際場(chǎng)景中。通過(guò)理論與實(shí)戰(zhàn)的結(jié)合,課程旨在幫助學(xué)員提升在大模型開(kāi)發(fā)、優(yōu)化與落地應(yīng)用中的綜合能力。課程特別適合技術(shù)團(tuán)隊(duì)、AI從業(yè)者及企業(yè)負(fù)責(zé)人,幫助學(xué)員在AI技術(shù)領(lǐng)域得到提升,幫助企業(yè)挖掘業(yè)務(wù)場(chǎng)景,探索并交流大模型項(xiàng)目交付的技巧與經(jīng)驗(yàn)。
目標(biāo)收益
培訓(xùn)對(duì)象
課程內(nèi)容
第一天上午
大模型基礎(chǔ)概述(90分鐘)
1、介紹人工智能生成創(chuàng)作(AIGC)領(lǐng)域的基本概念、應(yīng)用和發(fā)展趨勢(shì),相關(guān)場(chǎng)景及算法基礎(chǔ)邏輯介紹
2、大模型基礎(chǔ)技術(shù)概述,介紹深度學(xué)習(xí)相關(guān)基礎(chǔ)與Transformers系列介紹
大模型提示工程(60分鐘)
1、介紹大模型提示工程原理,簡(jiǎn)述CoT相關(guān)技術(shù)鏈
2、模型中的提示詞設(shè)計(jì)及優(yōu)化技巧
3、多場(chǎng)景提示詞設(shè)計(jì)介紹
大模型調(diào)用方法(30分鐘)
1、類OpenAI大模型接口介紹與實(shí)戰(zhàn)
第一天下午
主流開(kāi)源語(yǔ)言大模型介紹與領(lǐng)域大模型簡(jiǎn)述(120分鐘)
1、主流大模型介紹,如GLM、Llama、bloom、MOSS、Baichuan、Qwen、Skywork等
2、領(lǐng)域大模型介紹——法律、醫(yī)療、金融、教育等領(lǐng)域大模型介紹
大模型中的RLHF(60分鐘)
1、簡(jiǎn)述模型中的獎(jiǎng)勵(lì)模型,包括介紹獎(jiǎng)勵(lì)模型基礎(chǔ)、數(shù)據(jù)設(shè)計(jì)及模型訓(xùn)練方法
2、強(qiáng)化學(xué)習(xí)基礎(chǔ)介紹,PPO算法代碼與原理詳解、
3、前沿偏好對(duì)齊算法介紹——RRHF、RLAIF、DPO、APO等
第二天上午
大語(yǔ)言模的數(shù)據(jù)構(gòu)造與SFT(90分鐘)
1、大模型中的數(shù)據(jù)構(gòu)造與清洗方法綜合介紹
2、常用參數(shù)微調(diào)方法——Prefix Tuning、P-Tuning、LoRA
3、微調(diào)方法進(jìn)階——DyLoRA、AdaLoRA、QLoRA、QALoRA、LongLoRA、VERA、S-LoRA
分布式訓(xùn)練方法(60分鐘)
1、介紹當(dāng)前常用的模型分布式計(jì)算方法,詳細(xì)介紹數(shù)據(jù)并行、向量并行、流式并行的多種并行策略等
2、介紹常見(jiàn)的分布式訓(xùn)練框架,如Megatron、DeepSpeed、Colossal-AI、FairScale等分布式訓(xùn)練框架介紹
3、DeepSpeed框架詳述,介紹ZeRO-1、ZeRO-2、ZeRO-3多種分布式策略
大模型微調(diào)(30分鐘)
以問(wèn)數(shù)場(chǎng)景為例,進(jìn)行大模型訓(xùn)練微調(diào)實(shí)戰(zhàn)
第二天下午
大模型中的Agent技術(shù)(60分鐘)
1、CoT基礎(chǔ)原理介紹
2、Agent基礎(chǔ)概述、主要模塊與決策機(jī)制
3、主流Agent框架介紹——LlamaIndex框架、AutoGPT框架、AutoGen框架、SuperAGI框架
多模態(tài)大模型中的文生圖技術(shù)(90分鐘)
1、基于文本生成圖像的算法和模型介紹:介紹文本到圖像的生成模型,文本生成圖像方法,如DALL?E、CLIP、GLIDE、DALL?E 2等模型介紹
2、介紹大模型的圖片生成文本技術(shù)的核心原理
3、介紹主流圖片生成文本大模型——QwenVL系列、Intern-VL系列等
多模態(tài)大模型應(yīng)用(30分鐘)
以表格解析為應(yīng)用場(chǎng)景,進(jìn)行多模態(tài)大模型應(yīng)用
第三天上午
大模型中的推理加速(60分鐘)
1、介紹大模型推理加速中的量化方法
2、介紹常用大模型推理加速框架——vLLM、FastLLM、Slang等
大模型與RAG(90分鐘)
1、介紹RAG相關(guān)原理
2、向量數(shù)據(jù)庫(kù)介紹——Faiss、Milvus、Pinecone、Weaviate等
3、介紹RAG應(yīng)用場(chǎng)景及相關(guān)技巧
大模型RAG搭建(30分鐘)
1、LangChain框架及概念介紹
搭建大模型RAG
大模型企業(yè)落地案例解析(90分鐘)
1、大模型企業(yè)落地場(chǎng)景介紹,包括智能問(wèn)答、知識(shí)庫(kù)、知識(shí)圖譜于大模型融合案例等
2、大模型應(yīng)用落地案例分享
分組頭腦風(fēng)暴(互動(dòng))(60分鐘)
設(shè)計(jì)面向大模型的企業(yè)應(yīng)用場(chǎng)景
答疑與交流(30分鐘)