1.1 Transformer的诞生 2018年10月，Google发出一篇论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》, BERT模型横空出世, 并横扫NLP领域11项任务的最佳成绩!
论文地址: https://arxiv.org/pdf/1810.04805.pdf
而在BERT中发挥重要作用的结构就是Transformer, 之后又相继出现XLNET，roBERT等模型击败了BERT，但是他们的核心没有变，仍然是：Transformer.
1.2 Transformer的优势 相比之前占领市场的LSTM和GRU模型，Transformer有两个显著的优势:
1, Transformer能够利用分布式GPU进行并行训练，提升模型训练效率.
2, 在分析预测更长的文本时, 捕捉间隔较长的语义关联效果更好.
下面是一张在测评比较图:
1.3 Transformer的市场 在著名的SOTA机器翻译榜单上, 几乎所有排名靠前的模型都使用Transformer,
【自然语言处理nlp|Transformer背景介绍】其基本上可以看作是工业界的风向标, 市场空间自然不必多说！
推荐阅读
- transformer|Transformer中的余弦相似度解释
- 大数据|赛迪观点（＂城市大脑＂建设典型实践及经验启示）
- 区块链|NFT艺术品交易平台
- 异常检测|Graph Anomaly Detection with Deep Learning——图检测
- GCN|Graph Anomaly Detection with Deep Learning——子图检测
- 人工智能|AI程序员都需要掌握些什么（）
- 人工智能|一程序员被网恋女友诈骗1.8万，警方调查“女友”后发现竟是...
- 编程语言|JAVA代码审计实战班（详细授课目录曝光）
- 游戏|读博路上的碎碎念2（还能做一些很酷的事吗）