課程簡介
機(jī)器學(xué)習(xí)(深度學(xué)習(xí))算法和應(yīng)用
目標(biāo)收益
幻燈片算法講解,結(jié)合代碼分析,剖析算法原理;實際應(yīng)用舉例和和業(yè)界趨勢分析;成熟開源框架介紹和實例(Numpy, Pandas, Sklearn, Keras, TensorFlow,)。
內(nèi)容分7大部分:DNN 入門和基本模型;模型評估、調(diào)參和優(yōu)化;卷積神經(jīng)網(wǎng)絡(luò) CNN 原理和實踐;循環(huán)神經(jīng)網(wǎng)絡(luò)RNN原理和實踐;GAN;無監(jiān)督學(xué)習(xí);增強學(xué)習(xí)。
完成課程后,學(xué)員能夠了解深度學(xué)習(xí)的流程步驟;理解用深度學(xué)習(xí)方法解決實際問題的方法和思路;初步掌握基礎(chǔ)深度學(xué)習(xí)的算法和實現(xiàn)方法,并應(yīng)用于多種項目中。
培訓(xùn)對象
對深度學(xué)習(xí)算法原理和應(yīng)用感興趣,具有一定編程(Python)和數(shù)學(xué)基礎(chǔ)(線性代數(shù)、微積分、概率論)的技術(shù)人員。
課程大綱
PART I: 入門和基本 DNN 模型 |
1. 深度學(xué)習(xí)概要 什么是深度學(xué)習(xí) & 與機(jī)器學(xué)習(xí)的異同 2. 多層感知器模型 Multi-Layer Perceptron – MLP 神經(jīng)元 權(quán)重和激活 Neurons Weight Activation 神經(jīng)元網(wǎng)絡(luò) Neuron Networks 訓(xùn)練網(wǎng)絡(luò) Training Networks Back-propagation 算法和計算圖 多種自適應(yīng)學(xué)習(xí)率算法 Adaptive Learning Rate 3. 用 Keras 搭建 MLP 載入數(shù)據(jù) 定義-編譯-訓(xùn)練-測試模型 |
PART II: 評估、調(diào)參和優(yōu)化模型 |
4. 評估深度學(xué)習(xí)模型的性能 切分?jǐn)?shù)據(jù)集合 Data Splitting 手工 k-fold cross validation 5. 通用深度學(xué)習(xí)工具集 Keras + Scikit-Learn 用 cross-validation 評估模型用 grid-search 微調(diào)超參數(shù) 6. 項目:用 MLP 進(jìn)行多元分類 – 植物品種分類 7. 項目:用 MLP 進(jìn)行二元分類 – 聲吶探測物體信號分析 8. 項目:用 MLP 進(jìn)行回歸 – Boston 房屋價格預(yù)測 9. 序列化保存模型 10. 通過 check point 機(jī)制獲取最佳模型 11. 通過繪制模型歷史理解訓(xùn)練行為 12. 通過 dropout regularization 降低模型過擬合 13. 選取不同的 Learning Rate Schedule 提升模型性能 |
PART III: 卷積神經(jīng)網(wǎng)絡(luò) CNN |
14. 卷積神經(jīng)網(wǎng)絡(luò) Convolutional Neural Network 14.1 CNN 原理和構(gòu)造: - 核 Filter 和卷積運算 Convolutional Layer - 特征圖 Feature Maps - 池化層 Pooling - 全連接層 Full Connected Layer - Dropout 和 Batch Normalization - CNN 最佳實踐 14.2 CNN 實踐 - 項目:用 CNN 進(jìn)行手寫體識別 - 練習(xí):在 CNN 圖像識別中通過 Image Augmentation 技術(shù)提升模型性能 - 項目:用 CNN 進(jìn)行圖片物體識別 - 項目:用 CNN 電影評論情緒預(yù)測 - 項目:用 CNN 進(jìn)行圖像 segmentation |
PART IV: 循環(huán)神經(jīng)網(wǎng)絡(luò) Recurrent Neural Networks – RNN |
15. 循環(huán)神經(jīng)網(wǎng)絡(luò) Recurrent Neural Networks 15.1 RNN 原理一:基本 RNN - 處理序列(Sequence)數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò) - 循環(huán)神經(jīng)網(wǎng) RNN 架構(gòu) - RNN 訓(xùn)練:如何在訓(xùn)練中獲得穩(wěn)定的梯度下降 - RNN 網(wǎng)絡(luò)演化歷史:RNN,LSTM,GRU 結(jié)構(gòu)比較和分析 15.2 RNN 實踐一:RNN 回歸 - 項目:用 MLP 進(jìn)行時間序列預(yù)測 - 項目:用長短記憶網(wǎng)絡(luò)(Long-Short Term Memory, LSTM)進(jìn)行時間序列預(yù)測 子項目 1) 用 LSTM 進(jìn)行回歸 子項目 2)用 LSTM 序列窗口(Window method)進(jìn)行回歸 子項目 3) 用 LSTM 時間步長(Time Step)進(jìn)行回歸 子項目 4) 用 LSTM 記憶(Memory)進(jìn)行回歸 & Stacked LSTM 15.3 RNN 實踐二:RNN 分類 - 項目:對電影評論進(jìn)行序列分類 Sequence Classification - 項目:使用 dropout LSTM - 項目:結(jié)合使用 CNN 和 RNN 進(jìn)行序列分類15.4 RNN 實踐三:用 RNN 進(jìn)行文本生成 – one char - 項目:用 LSTM 進(jìn)行 one-char 生成 - 項目:用 LSTM feature-window 進(jìn)行 one-char 生成 - 項目:用 LSTM time-step 進(jìn)行 one-char 生成 - 項目:用 LSTM 批內(nèi)樣本間保持狀態(tài)進(jìn)行 one-char 生成 - 項目:有狀態(tài) LSTM 進(jìn)行 one-char 生成 - 項目:變長輸入 LSTM 15.5 RNN 實踐四:RNN 進(jìn)行文本生成 – sequence - 項目:用 LSTM 生成文本序列 - 項目:深度 LSTM 生成文本 - 討論:如何進(jìn)一步提高模型 performance 15.6 更多 RNN 模型(可選)例如: - image captioning 圖像字幕 - machine translation 機(jī)器翻譯 - dialogue generation 對話生成 |
PART V: CV與NLP前沿介紹 |
16. 計算機(jī)視覺 CV 前沿:對抗生成網(wǎng)絡(luò)(Generative Adversarial Network,GAN)介紹 17. 自然語言處理 NLP 前沿:變形金剛(Transformer)及其變種介紹 |
PART I: 入門和基本 DNN 模型 1. 深度學(xué)習(xí)概要 什么是深度學(xué)習(xí) & 與機(jī)器學(xué)習(xí)的異同 2. 多層感知器模型 Multi-Layer Perceptron – MLP 神經(jīng)元 權(quán)重和激活 Neurons Weight Activation 神經(jīng)元網(wǎng)絡(luò) Neuron Networks 訓(xùn)練網(wǎng)絡(luò) Training Networks Back-propagation 算法和計算圖 多種自適應(yīng)學(xué)習(xí)率算法 Adaptive Learning Rate 3. 用 Keras 搭建 MLP 載入數(shù)據(jù) 定義-編譯-訓(xùn)練-測試模型 |
PART II: 評估、調(diào)參和優(yōu)化模型 4. 評估深度學(xué)習(xí)模型的性能 切分?jǐn)?shù)據(jù)集合 Data Splitting 手工 k-fold cross validation 5. 通用深度學(xué)習(xí)工具集 Keras + Scikit-Learn 用 cross-validation 評估模型用 grid-search 微調(diào)超參數(shù) 6. 項目:用 MLP 進(jìn)行多元分類 – 植物品種分類 7. 項目:用 MLP 進(jìn)行二元分類 – 聲吶探測物體信號分析 8. 項目:用 MLP 進(jìn)行回歸 – Boston 房屋價格預(yù)測 9. 序列化保存模型 10. 通過 check point 機(jī)制獲取最佳模型 11. 通過繪制模型歷史理解訓(xùn)練行為 12. 通過 dropout regularization 降低模型過擬合 13. 選取不同的 Learning Rate Schedule 提升模型性能 |
PART III: 卷積神經(jīng)網(wǎng)絡(luò) CNN 14. 卷積神經(jīng)網(wǎng)絡(luò) Convolutional Neural Network 14.1 CNN 原理和構(gòu)造: - 核 Filter 和卷積運算 Convolutional Layer - 特征圖 Feature Maps - 池化層 Pooling - 全連接層 Full Connected Layer - Dropout 和 Batch Normalization - CNN 最佳實踐 14.2 CNN 實踐 - 項目:用 CNN 進(jìn)行手寫體識別 - 練習(xí):在 CNN 圖像識別中通過 Image Augmentation 技術(shù)提升模型性能 - 項目:用 CNN 進(jìn)行圖片物體識別 - 項目:用 CNN 電影評論情緒預(yù)測 - 項目:用 CNN 進(jìn)行圖像 segmentation |
PART IV: 循環(huán)神經(jīng)網(wǎng)絡(luò) Recurrent Neural Networks – RNN 15. 循環(huán)神經(jīng)網(wǎng)絡(luò) Recurrent Neural Networks 15.1 RNN 原理一:基本 RNN - 處理序列(Sequence)數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò) - 循環(huán)神經(jīng)網(wǎng) RNN 架構(gòu) - RNN 訓(xùn)練:如何在訓(xùn)練中獲得穩(wěn)定的梯度下降 - RNN 網(wǎng)絡(luò)演化歷史:RNN,LSTM,GRU 結(jié)構(gòu)比較和分析 15.2 RNN 實踐一:RNN 回歸 - 項目:用 MLP 進(jìn)行時間序列預(yù)測 - 項目:用長短記憶網(wǎng)絡(luò)(Long-Short Term Memory, LSTM)進(jìn)行時間序列預(yù)測 子項目 1) 用 LSTM 進(jìn)行回歸 子項目 2)用 LSTM 序列窗口(Window method)進(jìn)行回歸 子項目 3) 用 LSTM 時間步長(Time Step)進(jìn)行回歸 子項目 4) 用 LSTM 記憶(Memory)進(jìn)行回歸 & Stacked LSTM 15.3 RNN 實踐二:RNN 分類 - 項目:對電影評論進(jìn)行序列分類 Sequence Classification - 項目:使用 dropout LSTM - 項目:結(jié)合使用 CNN 和 RNN 進(jìn)行序列分類15.4 RNN 實踐三:用 RNN 進(jìn)行文本生成 – one char - 項目:用 LSTM 進(jìn)行 one-char 生成 - 項目:用 LSTM feature-window 進(jìn)行 one-char 生成 - 項目:用 LSTM time-step 進(jìn)行 one-char 生成 - 項目:用 LSTM 批內(nèi)樣本間保持狀態(tài)進(jìn)行 one-char 生成 - 項目:有狀態(tài) LSTM 進(jìn)行 one-char 生成 - 項目:變長輸入 LSTM 15.5 RNN 實踐四:RNN 進(jìn)行文本生成 – sequence - 項目:用 LSTM 生成文本序列 - 項目:深度 LSTM 生成文本 - 討論:如何進(jìn)一步提高模型 performance 15.6 更多 RNN 模型(可選)例如: - image captioning 圖像字幕 - machine translation 機(jī)器翻譯 - dialogue generation 對話生成 |
PART V: CV與NLP前沿介紹 16. 計算機(jī)視覺 CV 前沿:對抗生成網(wǎng)絡(luò)(Generative Adversarial Network,GAN)介紹 17. 自然語言處理 NLP 前沿:變形金剛(Transformer)及其變種介紹 |