課程簡介
機(jī)器學(xué)習(xí)(深度學(xué)習(xí))算法和應(yīng)用
目標(biāo)收益
幻燈片算法講解,結(jié)合代碼分析,剖析算法原理；實際應(yīng)用舉例和和業(yè)界趨勢分析；成熟開源框架介紹和實例(Numpy, Pandas, Sklearn, Keras, TensorFlow,)。
內(nèi)容分7大部分：DNN 入門和基本模型；模型評估、調(diào)參和優(yōu)化；卷積神經(jīng)網(wǎng)絡(luò) CNN 原理和實踐；循環(huán)神經(jīng)網(wǎng)絡(luò)RNN原理和實踐；GAN；無監(jiān)督學(xué)習(xí)；增強學(xué)習(xí)。
完成課程后，學(xué)員能夠了解深度學(xué)習(xí)的流程步驟；理解用深度學(xué)習(xí)方法解決實際問題的方法和思路；初步掌握基礎(chǔ)深度學(xué)習(xí)的算法和實現(xiàn)方法，并應(yīng)用于多種項目中。
培訓(xùn)對象
對深度學(xué)習(xí)算法原理和應(yīng)用感興趣，具有一定編程(Python)和數(shù)學(xué)基礎(chǔ)(線性代數(shù)、微積分、概率論)的技術(shù)人員。
課程大綱
|
PART I: 入門和基本 DNN 模型 |
1. 深度學(xué)習(xí)概要 什么是深度學(xué)習(xí) & 與機(jī)器學(xué)習(xí)的異同 2. 多層感知器模型 Multi-Layer Perceptron – MLP 神經(jīng)元 權(quán)重和激活 Neurons Weight Activation 神經(jīng)元網(wǎng)絡(luò) Neuron Networks 訓(xùn)練網(wǎng)絡(luò) Training Networks Back-propagation 算法和計算圖 多種自適應(yīng)學(xué)習(xí)率算法 Adaptive Learning Rate 3. 用 Keras 搭建 MLP 載入數(shù)據(jù) 定義-編譯-訓(xùn)練-測試模型 |
| PART II: 評估、調(diào)參和優(yōu)化模型 |
4. 評估深度學(xué)習(xí)模型的性能 切分?jǐn)?shù)據(jù)集合 Data Splitting 手工 k-fold cross validation 5. 通用深度學(xué)習(xí)工具集 Keras + Scikit-Learn 用 cross-validation 評估模型用 grid-search 微調(diào)超參數(shù) 6. 項目：用 MLP 進(jìn)行多元分類 – 植物品種分類 7. 項目：用 MLP 進(jìn)行二元分類 – 聲吶探測物體信號分析 8. 項目：用 MLP 進(jìn)行回歸 – Boston 房屋價格預(yù)測 9. 序列化保存模型 10. 通過 check point 機(jī)制獲取最佳模型 11. 通過繪制模型歷史理解訓(xùn)練行為 12. 通過 dropout regularization 降低模型過擬合 13. 選取不同的 Learning Rate Schedule 提升模型性能 |
|
PART III： 卷積神經(jīng)網(wǎng)絡(luò) CNN |
14. 卷積神經(jīng)網(wǎng)絡(luò) Convolutional Neural Network 14.1 CNN 原理和構(gòu)造： - 核 Filter 和卷積運算 Convolutional Layer - 特征圖 Feature Maps - 池化層 Pooling - 全連接層 Full Connected Layer - Dropout 和 Batch Normalization - CNN 最佳實踐 14.2 CNN 實踐 - 項目：用 CNN 進(jìn)行手寫體識別 - 練習(xí)：在 CNN 圖像識別中通過 Image Augmentation 技術(shù)提升模型性能 - 項目：用 CNN 進(jìn)行圖片物體識別 - 項目：用 CNN 電影評論情緒預(yù)測 - 項目：用 CNN 進(jìn)行圖像 segmentation |
| PART IV: 循環(huán)神經(jīng)網(wǎng)絡(luò) Recurrent Neural Networks – RNN |
15. 循環(huán)神經(jīng)網(wǎng)絡(luò) Recurrent Neural Networks 15.1 RNN 原理一：基本 RNN - 處理序列（Sequence）數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò) - 循環(huán)神經(jīng)網(wǎng) RNN 架構(gòu) - RNN 訓(xùn)練：如何在訓(xùn)練中獲得穩(wěn)定的梯度下降 - RNN 網(wǎng)絡(luò)演化歷史：RNN，LSTM，GRU 結(jié)構(gòu)比較和分析 15.2 RNN 實踐一：RNN 回歸 - 項目：用 MLP 進(jìn)行時間序列預(yù)測 - 項目：用長短記憶網(wǎng)絡(luò)(Long-Short Term Memory, LSTM)進(jìn)行時間序列預(yù)測 子項目 1) 用 LSTM 進(jìn)行回歸 子項目 2）用 LSTM 序列窗口（Window method）進(jìn)行回歸 子項目 3) 用 LSTM 時間步長（Time Step）進(jìn)行回歸 子項目 4) 用 LSTM 記憶（Memory）進(jìn)行回歸 & Stacked LSTM 15.3 RNN 實踐二：RNN 分類 - 項目：對電影評論進(jìn)行序列分類 Sequence Classification - 項目：使用 dropout LSTM - 項目：結(jié)合使用 CNN 和 RNN 進(jìn)行序列分類15.4 RNN 實踐三：用 RNN 進(jìn)行文本生成 – one char - 項目：用 LSTM 進(jìn)行 one-char 生成 - 項目：用 LSTM feature-window 進(jìn)行 one-char 生成 - 項目：用 LSTM time-step 進(jìn)行 one-char 生成 - 項目：用 LSTM 批內(nèi)樣本間保持狀態(tài)進(jìn)行 one-char 生成 - 項目：有狀態(tài) LSTM 進(jìn)行 one-char 生成 - 項目：變長輸入 LSTM 15.5 RNN 實踐四：RNN 進(jìn)行文本生成 – sequence - 項目：用 LSTM 生成文本序列 - 項目：深度 LSTM 生成文本 - 討論：如何進(jìn)一步提高模型 performance 15.6 更多 RNN 模型（可選）例如： - image captioning 圖像字幕 - machine translation 機(jī)器翻譯 - dialogue generation 對話生成 |
| PART V: CV與NLP前沿介紹 |
16. 計算機(jī)視覺 CV 前沿：對抗生成網(wǎng)絡(luò)（Generative Adversarial Network，GAN）介紹 17. 自然語言處理 NLP 前沿：變形金剛（Transformer）及其變種介紹 |
|
PART I: 入門和基本 DNN 模型 1. 深度學(xué)習(xí)概要 什么是深度學(xué)習(xí) & 與機(jī)器學(xué)習(xí)的異同 2. 多層感知器模型 Multi-Layer Perceptron – MLP 神經(jīng)元 權(quán)重和激活 Neurons Weight Activation 神經(jīng)元網(wǎng)絡(luò) Neuron Networks 訓(xùn)練網(wǎng)絡(luò) Training Networks Back-propagation 算法和計算圖 多種自適應(yīng)學(xué)習(xí)率算法 Adaptive Learning Rate 3. 用 Keras 搭建 MLP 載入數(shù)據(jù) 定義-編譯-訓(xùn)練-測試模型 |
|
PART II: 評估、調(diào)參和優(yōu)化模型 4. 評估深度學(xué)習(xí)模型的性能 切分?jǐn)?shù)據(jù)集合 Data Splitting 手工 k-fold cross validation 5. 通用深度學(xué)習(xí)工具集 Keras + Scikit-Learn 用 cross-validation 評估模型用 grid-search 微調(diào)超參數(shù) 6. 項目：用 MLP 進(jìn)行多元分類 – 植物品種分類 7. 項目：用 MLP 進(jìn)行二元分類 – 聲吶探測物體信號分析 8. 項目：用 MLP 進(jìn)行回歸 – Boston 房屋價格預(yù)測 9. 序列化保存模型 10. 通過 check point 機(jī)制獲取最佳模型 11. 通過繪制模型歷史理解訓(xùn)練行為 12. 通過 dropout regularization 降低模型過擬合 13. 選取不同的 Learning Rate Schedule 提升模型性能 |
|
PART III： 卷積神經(jīng)網(wǎng)絡(luò) CNN 14. 卷積神經(jīng)網(wǎng)絡(luò) Convolutional Neural Network 14.1 CNN 原理和構(gòu)造： - 核 Filter 和卷積運算 Convolutional Layer - 特征圖 Feature Maps - 池化層 Pooling - 全連接層 Full Connected Layer - Dropout 和 Batch Normalization - CNN 最佳實踐 14.2 CNN 實踐 - 項目：用 CNN 進(jìn)行手寫體識別 - 練習(xí)：在 CNN 圖像識別中通過 Image Augmentation 技術(shù)提升模型性能 - 項目：用 CNN 進(jìn)行圖片物體識別 - 項目：用 CNN 電影評論情緒預(yù)測 - 項目：用 CNN 進(jìn)行圖像 segmentation |
|
PART IV: 循環(huán)神經(jīng)網(wǎng)絡(luò) Recurrent Neural Networks – RNN 15. 循環(huán)神經(jīng)網(wǎng)絡(luò) Recurrent Neural Networks 15.1 RNN 原理一：基本 RNN - 處理序列（Sequence）數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò) - 循環(huán)神經(jīng)網(wǎng) RNN 架構(gòu) - RNN 訓(xùn)練：如何在訓(xùn)練中獲得穩(wěn)定的梯度下降 - RNN 網(wǎng)絡(luò)演化歷史：RNN，LSTM，GRU 結(jié)構(gòu)比較和分析 15.2 RNN 實踐一：RNN 回歸 - 項目：用 MLP 進(jìn)行時間序列預(yù)測 - 項目：用長短記憶網(wǎng)絡(luò)(Long-Short Term Memory, LSTM)進(jìn)行時間序列預(yù)測 子項目 1) 用 LSTM 進(jìn)行回歸 子項目 2）用 LSTM 序列窗口（Window method）進(jìn)行回歸 子項目 3) 用 LSTM 時間步長（Time Step）進(jìn)行回歸 子項目 4) 用 LSTM 記憶（Memory）進(jìn)行回歸 & Stacked LSTM 15.3 RNN 實踐二：RNN 分類 - 項目：對電影評論進(jìn)行序列分類 Sequence Classification - 項目：使用 dropout LSTM - 項目：結(jié)合使用 CNN 和 RNN 進(jìn)行序列分類15.4 RNN 實踐三：用 RNN 進(jìn)行文本生成 – one char - 項目：用 LSTM 進(jìn)行 one-char 生成 - 項目：用 LSTM feature-window 進(jìn)行 one-char 生成 - 項目：用 LSTM time-step 進(jìn)行 one-char 生成 - 項目：用 LSTM 批內(nèi)樣本間保持狀態(tài)進(jìn)行 one-char 生成 - 項目：有狀態(tài) LSTM 進(jìn)行 one-char 生成 - 項目：變長輸入 LSTM 15.5 RNN 實踐四：RNN 進(jìn)行文本生成 – sequence - 項目：用 LSTM 生成文本序列 - 項目：深度 LSTM 生成文本 - 討論：如何進(jìn)一步提高模型 performance 15.6 更多 RNN 模型（可選）例如： - image captioning 圖像字幕 - machine translation 機(jī)器翻譯 - dialogue generation 對話生成 |
|
PART V: CV與NLP前沿介紹 16. 計算機(jī)視覺 CV 前沿：對抗生成網(wǎng)絡(luò)（Generative Adversarial Network，GAN）介紹 17. 自然語言處理 NLP 前沿：變形金剛（Transformer）及其變種介紹 |
近期公開課推薦
