課程簡介
之前深度學習主要關注例如文字的序列結構、例如圖片的平面結構,現(xiàn)在處理這些數(shù)據(jù)的做法也比較成熟,關注序列任務的NLP領域多用RNN、Transformer、CNN對數(shù)據(jù)進行Encoder,而關注平面結構的CV領域更多使用CNN及其各種變體對數(shù)據(jù)進行Encoder。在現(xiàn)實世界中更多的數(shù)據(jù)表示并不是序列或者平面這種簡單的排列,而是表現(xiàn)為更為復雜的圖結構,如社交網(wǎng)絡、商品-店鋪-人之間的關系、分子結構等等。
圖(graph)是一個非常常用的數(shù)據(jù)結構,現(xiàn)實世界中很多很多任務可以描述為圖問題,比如社交網(wǎng)絡,蛋白體結構,交通路網(wǎng)數(shù)據(jù),以及很火的知識圖譜等,甚至規(guī)則網(wǎng)格結構數(shù)據(jù)(如圖像,視頻等)也是圖數(shù)據(jù)的一種特殊形式,因此圖是一個很值得研究的領域。
目標收益
1. 從基礎開始,理解圖數(shù)據(jù)結構特點和特征向量表示
2. 了解圖的應用領域和應用方法
3. 由淺入深學習圖神經(jīng)網(wǎng)絡的構建、分類
4. 掌握圖神經(jīng)網(wǎng)絡的設計和訓練方法
5. 以GNN為基礎學習知識圖譜的表示和推理
6. 進階學習圖生成網(wǎng)絡、圖對抗訓練和圖模型的規(guī)?;?/p>
培訓對象
對GNN算法原理和應?感興趣,具有?定編程(Python)和數(shù)學基礎(線性代數(shù)、微積分、概率論)的技術?員。
課程大綱
圖和圖神經(jīng)?絡發(fā)展 |
1.1.為何需要圖 復習/了解圖數(shù)據(jù)結構,以及如何在圖數(shù)據(jù)上應?機器學習 1.2.圖神經(jīng)?絡應? 介紹圖神經(jīng)?絡的應?場景和?式 1.3.圖的表示 Graph Representation |
圖神經(jīng)?絡基礎 |
2.1.傳統(tǒng)基于特征的?法:節(jié)點 2.2.傳統(tǒng)基于特征的?法:邊 2.3.傳統(tǒng)基于特征的?法:圖 |
圖嵌?向量 Graph Embedding |
3.1.節(jié)點嵌?向量 Node Embeddings 3.2.節(jié)點嵌?的隨機游??法 Random walk approaches for node embeddings 3.3.圖整體的嵌?向量 Embedding entire graphs |
使?矩陣?具研究圖 |
4.1.PageRank:問題和?案 4.2.PageRank:如何解決 4.3.帶重啟的隨機遍歷 Random walk with restarts 4.4.矩陣分解和節(jié)點嵌? Matrix factorizing and node embedding |
圖神經(jīng)?絡預備 |
5.1.消息傳遞和節(jié)點分類 Message passing and node classification 5.2.關系和迭代分類 Relational and iterative classification5.3.集體分類 Collective classification |
圖神經(jīng)?絡?? |
6.1.圖神經(jīng)?絡介紹 6.2.深度學習基礎 6.3.圖的深度學習 Deep learning for graph |
圖神經(jīng)?絡概述 |
7.1.對GNN的?般觀點 7.2.單層GNN A single layer of a GNN 7.3.多層GNN Stacking layers of a GNN |
圖神經(jīng)?絡設計和訓練 |
8.1.GNN的圖擴展 Graph augmentation for GNNs 8.2.訓練圖神經(jīng)?絡 8.3.?圖神經(jīng)?絡作預測任務 Setting up GNN prediction tasks |
圖神經(jīng)?絡理論 |
9.1.圖神經(jīng)?絡的表達? How expressive are GNN 9.2.如何設計強表達?圖神經(jīng)?絡 |
知識圖譜 |
10.1.異構和知識圖譜嵌? Heterogeneous and knowledge graph embedding 10.2.知識圖譜KG完全?法 Knowledge graph KG completion 10.3.多種知識圖譜完全?法 Knowledge graph completion |
知識圖譜推理 |
11.1.在知識圖譜上進?推理 Reasoning in knowledge graphs 11.2.回答預測性查詢 Answering predictive queries 11.3.在知識圖譜上進? Query2box 推理 Query2box reasoning over KGs |
?圖問題 |
12.1.快速神經(jīng)?圖匹配和計數(shù) Fast Neural Subgraph Matching & Counting 12.2.神經(jīng)?圖匹配 Neural subgraph matching 12.3.查找頻繁?圖 Finding Frequent Subgraphs |
?絡社區(qū) |
13.1.?絡中的社區(qū)檢測 Community Detection in Networks 13.2.?絡中的社區(qū) Network Communities 13.3.Louvain 算法 13.4.檢測重疊社區(qū) detecting overlapping communities |
圖?成模型 |
14.1.圖?成模型介紹 Generative Models for Graphs14.2.Erdos Renyi隨機圖 Erdos Renyi Random Graphs 14.3.?世界模型 The small world model 14.4.Kronecker 圖模型 |
深度圖?成模型 |
15.1.深度圖?成模型 Deep generative models for graphs 15.2.圖 RNN ?成逼真的圖 Graph RNN Generating Realistic Graphs 15.3.規(guī)?;驮u估圖?成 Scaling up and Evaluating Graph Gen 15.4.深度圖?成模型應? |
圖模型的局限性和對抗訓練 |
16.1.圖模型的局限性 16.2.節(jié)點位置感知的圖神經(jīng)?絡 Position aware GNN 16.3.身份感知的圖神經(jīng)?絡 Identity-Aware Graph Neural Networks 16.4.圖神經(jīng)?絡的健壯性(相對于對抗攻擊) Robustness of Graph Neural Networks |
圖模型的規(guī)?;? |
17.1.將圖形神經(jīng)?絡擴展到?圖 Scaling up Graph Neural Networks to Large Graphs 17.2.GraphSAGE 鄰?采樣 GraphSAGE Neighbor Sampling 17.3.集群 GCN 規(guī)?;瘓D神經(jīng)?絡 Cluster GCN Scaling up GNNs 17.4.通過簡化圖神經(jīng)?絡實現(xiàn)規(guī)?;?Scaling up by Simplifying GNNs |
圖和圖神經(jīng)?絡發(fā)展 1.1.為何需要圖 復習/了解圖數(shù)據(jù)結構,以及如何在圖數(shù)據(jù)上應?機器學習 1.2.圖神經(jīng)?絡應? 介紹圖神經(jīng)?絡的應?場景和?式 1.3.圖的表示 Graph Representation |
圖神經(jīng)?絡基礎 2.1.傳統(tǒng)基于特征的?法:節(jié)點 2.2.傳統(tǒng)基于特征的?法:邊 2.3.傳統(tǒng)基于特征的?法:圖 |
圖嵌?向量 Graph Embedding 3.1.節(jié)點嵌?向量 Node Embeddings 3.2.節(jié)點嵌?的隨機游??法 Random walk approaches for node embeddings 3.3.圖整體的嵌?向量 Embedding entire graphs |
使?矩陣?具研究圖 4.1.PageRank:問題和?案 4.2.PageRank:如何解決 4.3.帶重啟的隨機遍歷 Random walk with restarts 4.4.矩陣分解和節(jié)點嵌? Matrix factorizing and node embedding |
圖神經(jīng)?絡預備 5.1.消息傳遞和節(jié)點分類 Message passing and node classification 5.2.關系和迭代分類 Relational and iterative classification5.3.集體分類 Collective classification |
圖神經(jīng)?絡?? 6.1.圖神經(jīng)?絡介紹 6.2.深度學習基礎 6.3.圖的深度學習 Deep learning for graph |
圖神經(jīng)?絡概述 7.1.對GNN的?般觀點 7.2.單層GNN A single layer of a GNN 7.3.多層GNN Stacking layers of a GNN |
圖神經(jīng)?絡設計和訓練 8.1.GNN的圖擴展 Graph augmentation for GNNs 8.2.訓練圖神經(jīng)?絡 8.3.?圖神經(jīng)?絡作預測任務 Setting up GNN prediction tasks |
圖神經(jīng)?絡理論 9.1.圖神經(jīng)?絡的表達? How expressive are GNN 9.2.如何設計強表達?圖神經(jīng)?絡 |
知識圖譜 10.1.異構和知識圖譜嵌? Heterogeneous and knowledge graph embedding 10.2.知識圖譜KG完全?法 Knowledge graph KG completion 10.3.多種知識圖譜完全?法 Knowledge graph completion |
知識圖譜推理 11.1.在知識圖譜上進?推理 Reasoning in knowledge graphs 11.2.回答預測性查詢 Answering predictive queries 11.3.在知識圖譜上進? Query2box 推理 Query2box reasoning over KGs |
?圖問題 12.1.快速神經(jīng)?圖匹配和計數(shù) Fast Neural Subgraph Matching & Counting 12.2.神經(jīng)?圖匹配 Neural subgraph matching 12.3.查找頻繁?圖 Finding Frequent Subgraphs |
?絡社區(qū) 13.1.?絡中的社區(qū)檢測 Community Detection in Networks 13.2.?絡中的社區(qū) Network Communities 13.3.Louvain 算法 13.4.檢測重疊社區(qū) detecting overlapping communities |
圖?成模型 14.1.圖?成模型介紹 Generative Models for Graphs14.2.Erdos Renyi隨機圖 Erdos Renyi Random Graphs 14.3.?世界模型 The small world model 14.4.Kronecker 圖模型 |
深度圖?成模型 15.1.深度圖?成模型 Deep generative models for graphs 15.2.圖 RNN ?成逼真的圖 Graph RNN Generating Realistic Graphs 15.3.規(guī)?;驮u估圖?成 Scaling up and Evaluating Graph Gen 15.4.深度圖?成模型應? |
圖模型的局限性和對抗訓練 16.1.圖模型的局限性 16.2.節(jié)點位置感知的圖神經(jīng)?絡 Position aware GNN 16.3.身份感知的圖神經(jīng)?絡 Identity-Aware Graph Neural Networks 16.4.圖神經(jīng)?絡的健壯性(相對于對抗攻擊) Robustness of Graph Neural Networks |
圖模型的規(guī)?;? 17.1.將圖形神經(jīng)?絡擴展到?圖 Scaling up Graph Neural Networks to Large Graphs 17.2.GraphSAGE 鄰?采樣 GraphSAGE Neighbor Sampling 17.3.集群 GCN 規(guī)模化圖神經(jīng)?絡 Cluster GCN Scaling up GNNs 17.4.通過簡化圖神經(jīng)?絡實現(xiàn)規(guī)?;?Scaling up by Simplifying GNNs |