神经网络|为什么要进行图学习（谈一谈逆势而上的图神经网络）人工智能|深度学习|计算机视觉

文章图片

文章图片

文章图片

点击上方蓝字关注我们

文章图片

问一问近几年来逆势而上的技术有什么？相信你一定会说出来一个：图神经网络。
图神经网络将会在人工智能的各个领域起着非常重要的作用，虽然目前还没有完全成为各大顶会的焦点，但不可否认，它将会。因为相对于一般的神经网络，图神经网络解决了一个很关键的问题，就是object跟object之间的关系，这个object可以是网络中的节点，图像中的像素，文本中的单词，语音中的音符，甚至是神经网络的基本操作。可以看出来，图神经网络可以与自然语言处理，计算机视觉，强化学习，甚至是最基本的缺失值补全这样的机器学习任务结合。图神经网络下面的一些特点：
（1）图神经网络能够实现强大的非结构学习的能力：
图神经网络能够从非结构化数据（例如:场景图片、故事片段等）中进行学习和推理。尽管传统的深度学习方法被应用在提取欧氏空间数据的特征方面取得了巨大的成功，但许多实际应用场景中的数据是从非欧式空间生成的，传统的深度学习方法在处理非欧式空间数据上的表现却仍难以使人满意。
（2）图神经网络可以学习时序以及非时序排序的特征学习：
GNN的输出不以节点的输入顺序为转移的。而在时空领域的建模，我们既可以关注无先后顺序的空间拓扑结构，也可以建模有顺序的时间维度，多一维度的信息，多一份决策的能力；
（3）图神经网络可以解决两个节点之间依赖关系的学习：
传统的神经网络中，这种依赖关系只能通过节点的特征来体现。图嵌入通过保留图的网络拓扑结构和节点内容信息，将图中顶点表示为低维向量，以便使用简单的机器学习算法（例如，支持向量机分类）进行处理。
除此之外，图神经网络在社交网络、广告推荐、搜索推荐、药物生成、智能体交互、高能物理学到社会科学和经济学等领域的复杂关系建模和互动系统构建起到重要作用。今天，给大家介绍一个长期关注图神经网络，干货满满的公众号，深度学习与图网络。该公众号，主要关注图神经网络，以及深度学习和机器学习相关内容，偶尔尝试解读一些有意思的研究工作，"但水平有限，欢迎来批评指正"。在研究方向上，关注以下几个方面：

图与自然语言处理
图与计算机视觉
图与智慧交通
图与推荐
图优化与解决过平滑问题
图上节点分类
图池化与分类以及分子图生成
动态图,时空图嵌入

在研究动态上：公众号关注NeurIPS, ICML, KDD, CVPR等会议论文，TPAMI, TNNLS, TKDE, TKDD等期刊论文，以及关注Arxiv上与图网络相关的研究动态，同时关注GitHub上关于GNN 库。如果你也是上面研究方向的同学，欢迎关注与收藏。下面是最近的推送，看看有没有你需要的~：
近期40条精彩推送
Dynamic/Temporal Graph动态图|时态图相关论文，数据集汇总
AAAI 2021 |图模型相关工作——数据扩充；近似梯度下降；解决灾难性遗忘问题
NeurIPS2020 | 结合集成学习与Rademacher复杂度分析多尺度GNN解决过拟合问题
NeurIPS2020 | 图池化Rethinking pooling in graph neural networks
NeurIPS2020 | 图分类SOTA：节点互信息最大化与多尺度特征交互
NeurIPS 2020 | 超越同质性假设: 解决当前GNN的局限与并提出有效性设计
NeurIPS 2020 | 图上学习新方式—迭代式图学习: 结合下游任务迭代地学习图结构和图表示
NeurIPS2020 | 解决不确定性问题—用于半监督学习的图随机神经网络(代码已经公开)
ICLR 2020 | 兼顾效率与质量—基于谱方法的高效多级图嵌入框架
NeurIPS2020 | 用于半监督学习的图随机神经网络
NeurIPS2020 | 显著超越STGCN: 方法简单-效果显著自适应构图的时空图网络
硬核 | TKDE2020-时空数据挖掘深度学习技术全面综述
【神经网络|为什么要进行图学习（谈一谈逆势而上的图神经网络）】NeurIPS2020 | Google《图学习与挖掘》综述教程，311页ppt+教程
NeurIPS2020 | 图对比学习 | 结合四种数据扩充方式进行对比学习(附论文代码链接)
NeurIPS2020 | 四篇图鲁棒性研究相关论文一览
方法总结 | 两篇论文分析解耦/分离/Disentangled/图神经网络表示学习
ICLR2021Submission/6677分 / 性能超越图神经网络，将标签传递和简单模型结合实现SOTA
NeurIPS 2020 | IGNN图卷积超分网络: 挖掘隐藏在低分辨率图像中的高清纹理
NeurIPS 2020 | 热点之一最优运输相关论文一览
图神经网络强势崛起 | ICLR 2021最全论文主题分析
没有完整图时，如何使用图深度学习？你需要了解流形学习2.0版本
终于来了！图核论文的研究综述: 2020图核方法最新进展与未来挑战，151页pdf
注意力机制 | 图卷积多跳注意力机制 | Direct multi-hop Attention based GNN
NeurIPS2020 | 基于路径积分设计的图卷积和图池化操作
NeurIPS 2020 | 基于模型的对抗元强化学习
NeurIPS 2020 | Hinton新作！越大的自监督模型，半监督学习需要的标签越少
KDD2020 | MoFlow：基于流的分子图生成模型
【综述】图神经网络与深度学习在智能交通中的应用：综述Survey
浅谈图上的自监督学习——对比学习
论文快讯 | NeurIPS2020 重新思考图神经网络中的池化
自监督学习 | ICML2020 自监督学习什么时候可以对GCN有利？
TPAMI2020 |节点属性缺失怎么办？隐空间attribute-structure对齐来解决
论文快讯 | NeurIPS20:有向图卷积网络Digraph Inception Convolutional Networks
拉普拉斯矩阵与拉普拉斯算子的关系 (干货预警，需慢读细品)
论文快讯 | TMM20-半监督学习的各向异性图卷积网络
最新《图神经网络推荐系统》2020综述论文，27页pdf
TGN时态图网络：即使很久不发朋友圈，也能知道你的新兴趣
NeurIPS2020 | 图对比学习 | 结合四种数据扩充方式进行对比学习(附论文代码链接)
使用标签预测，性能竟超GNN，训练时间和参数量还百倍降低？
NeurIPS 2020 | 图机器学习NeurIPS'20: 80多篇与图相关的论文整理与小结 (更新中)
图神经网络说难不难，说容易不容易。如果你还没有入门，不用着急，站在他人的肩膀上，你会看的轻松一点，欢迎参考从下面的学习路线

文章图片

1 Tutorial教程合集（入门必读）
为什么要进行图嵌入表示?
图嵌入表示:深度游走（Deepwalk）
图系列|从图(Graph)到图卷积: 漫谈图神经网络模型(I)
图系列|从图(Graph)到图卷积: 漫谈图神经网络模模型(II)
图系列|从图(Graph)到图卷积: 漫谈图神经网络模模型(III)
图卷积神经网络Graph Convolutional Network(GCN)：从问题到理论分析

图网络延伸GraphSage: Inductive learning 和 Transductive learning
图注意机制GAT：三种注意力机制在图神经网络中的应用和总结
SGC Networks，一种简化的图神经网络=>产生高达两个数量级的加速
图系列GIN|GNN模型到底有多强呢？Weisfeiler-Leman test来告诉你
斯坦福Jure Leskovec——图神经网络研究最新进展（附下载链接）
清华大学唐杰——图神经网络 (GNN) 算法及其应用138页PPT（附下载链接）
斯坦福大学Jure Leskovec—图神经网络GNN研究进展：表达性、预训练、OGB，71页ppt

文章图片

文章图片

2 深度思考（进阶）
GNN需要预训练吗？| GNN教程：图上的预训练任务上篇

GNN需要预训练吗？| GNN教程：图上的预训练任务下篇
思考：Transformers与图神经网络有什么关系，我们能从transformer学习什么？

从Laplacian矩阵开始，理解GCN
如何解决图神经网络(GNN)训练中过度平滑的问题？
图网络GNN(特别篇)：一文遍览图网络中16种典型的图卷积和9种图池化Graph Pooling
从源头深入分析GCN的四个行文思路：重要度度量与累计，注意力，局部一致性，Laplacian变换
KDD‘18 | 学习任意阶邻近度的Network Embedding

文章图片

3 综述论文
清华大学朱文武「基于深度学习的图表示」综述论文，51页pdf（附下载链接）
图综述|综述《A Gentle Introduction to Deep Learning for Graphs》
图网络综述|9篇研究综述看图神经网络GNN的最新研究进展
图网络综述|10-异构网络表示学习
图网络综述|动态图上的表示学习(1)
图文献综述|动态图上的表示学习(2)
图文献综述|交通领域如何构建图模型进行深度学习
学习一个新的领域最好是从综述开始，因为综述已经非常全面概括了目前该领域的论文，进行了合理的分类。公众号已经整理打包好第3部分全部的综述论文，后期新的论文会加入进去。如果你也需要，在下面公众号回复：图网络资料就可以了。

文章图片

文章图片

6 论文快讯
图表示学习和几何深度学习workshop(II): node2vec与强化学习；双曲嵌入；Group卷积中的注意力等
ELLIS Workshop: April 2020图网络最新研究进展(I)
论文汇讯: 图网络新应用：新燃料发现，有机化学逆合成，多任务学习，单一场景中的检测等等
GRAPH-BERT:图表示学习只需要注意力
图机器学习-图拉普拉斯算子的离散正则性，141页ppt，Discrete regularity graph Laplacians
KDD19开源论文 Heterogeneous Graph Neural Network

KDD2020|混合时空图卷积网络：更精准的时空预测模型

论文快讯：5篇Graph相关内容：多标签建模；因果结构学习；N-gram Graph等等
论文快讯：一些新图卷积相关方法的提出来啦
论文快讯：很多新的图学习方法提出，赶紧来看
论文快讯: 图神经网络的新鲜应用
论文快讯: 图网络相关的最新文献，涉及Graph Embedding 综述，交通预测、停车位可用性预测，图匹配等

文章图片

7 相关资料
资料|一本机器学习与复杂网络相关的书籍《Machine Learning in Complex Networks》
资料 |斯坦福大学2019秋季新课CS224W: Machine Learning with Graphs 课程讲义PPT等
斯坦福CS224W课程—机器学习与图—课程介绍与资料汇总
【经典】GAT作者Petar剑桥大学博士论文《深层神经网络结构的复兴》147页pdf，附下载链接
资料 | 17篇论文，详解图的机器学习趋势 | NeurIPS 2019
资料 | NLP 和人文社会学科课程来了：斯坦福开年公开课主讲NLP和社交网络应用
资料 | Graph embedding|Graph Neural Network 学习资料汇总
GitHub | Awesome Graph classification
一个新的领域如果有一些系统的辅助的资料就不会被带偏，迷失方向。博客公众号，论文相对于完整的书籍还是缺乏系统性，为此公众号系统收集了图网络相关的资料，书籍等。如果你也需要，在公众号，回复：图网络资料就可以领取

文章图片

8 深度解析
深度解读：KDD2020|混合时空图卷积网络：更精准的时空预测模型
深度解读：【GNN】VGAE：利用变分自编码器完成图重构
深度解读：互信息及其在图表示学习的应用
深度解读：基于图神经网络的聚类研究与应用
深度解读：Transformer for Graph Classification:无监督的学习下图分类(代码已经公开)
深度解读：图系列|三篇图层次化表示学习(Hierarchical GNN)：图分类以及节点分类

深度解读：团队新作 | 多尺度图卷积神经网络：有效统一三维形状离散化特征表示
深度解读：ICLR20|CUHK及NUS提出两个指标度量与提升图网络消息传递
论文解读：KDD'18异质信息网络嵌入学习—HEER模型结构，解决存在多决种关系的问题

论文解读：KDD'19 Deep Learning on Graph 最佳论文：自然语言生成（NLG）任务
论文解读：图表示学习中的对抗与攻击KDD'18 Best Paper: Adversarial Attacks
论文解读：GMNN：图马尔可夫网络，关系数据进行建模，变分EM框架训练模型
论文解读：普林斯顿高研院, 浙大, CMU和MIT联合提出图核函数与图神经网络的融合方法
论文解读：NeurIPS'20|Hyperbolic Graph Convolutional Neural Networks
论文解读：ICCV'19 Workshop 论文解读：用图神经网络改善视频的多标签分类
方案解读：CIKM'19 挑战杯「用户行为预测」冠军方案分享：「初筛-精排」两阶求解框架
论文解读：KDD'19 | 图神经网络预测知识图谱中的节点重要性
论文解读：图系列|图神经常微分方程，如何让 GNN 在连续深度域上大显身手？
论文解读：ACL'19论文| 为知识图谱添加注意力机制
论文解读：基于 GCN 的反垃圾评价系统，闲鱼已经用上了！

文章图片

9 动态时空图专题
动态图系列|动态图嵌入与表示:8篇必读论文(第1期)
动态图系列|动态知识图谱预测与补全上必读6篇论文
动态图系列|动态图的研究渐渐多起来

文章图片

10 动作识别专题
图系列|全面详解！图卷积在动作识别方向的应用（下）

图系列|全面详解！图卷积在动作识别方向的应用（上）
图系列|通过神经网络搜索(NAS)图卷积网络进行人体骨骼的动作识别

文章图片

11 代码实战教程
图代码实战|Amazon图神经网络库DGL零基础上手指南-以节点分类为例
图代码实战|在PyTorch框架下使用PyG和networkx对Graph进行可视化
上面的内容有点多，是不是看的有点懵，建议收藏一下。后期可以按照关键词在深度学习与图网络公众号历史消息中进行搜索就可以了。
最后在说明一下哈，如果你也需要第三部分和第七部分的资料，在下面的公众号领取。暗号：图网络资料，拒绝任何套路，纯干货分享。