锐客网

  1. 首页 > it技术 > >

[论文阅读笔记 --- 13] StructBERT: Incorporating Language Structures into Pre-training for Deep Language Un

论文阅读笔记

Bert 预训练思路
[论文阅读笔记 --- 13] StructBERT: Incorporating Language Structures into Pre-training for Deep Language Un
文章图片
Bert 预训练模型 Bert 预训练两大子任务

  • Mask Token Prediction: 对于Mask的位置，多分类任务，从此表中预测处正确的词
  • Next Sentence Prediction: 输入两个句子，判断S1和S2是否是上下句的关系。
[论文阅读笔记 --- 13] StructBERT: Incorporating Language Structures into Pre-training for Deep Language Un
文章图片
Mask Token Prediction [论文阅读笔记 --- 13] StructBERT: Incorporating Language Structures into Pre-training for Deep Language Un
文章图片
Next Sentence Prediction StructBert
[论文阅读笔记 --- 13] StructBERT: Incorporating Language Structures into Pre-training for Deep Language Un
文章图片

对于单个句子，考虑Word-Leval Prediction
(1) 预测被Mask的词
(2) 选择一些不包含Mask词的连续三元组，打乱三元组的顺序，预测重建该三元组
[论文阅读笔记 --- 13] StructBERT: Incorporating Language Structures into Pre-training for Deep Language Un
文章图片

最后在句子被预测处理过的位置所对应的正确单词。
对于两个句子，考虑Sentence-Level Prediction
[论文阅读笔记 --- 13] StructBERT: Incorporating Language Structures into Pre-training for Deep Language Un
文章图片

【[论文阅读笔记 --- 13] StructBERT: Incorporating Language Structures into Pre-training for Deep Language Un】(1) 考虑为三分类任务，给定句子对S1和S2，存在以下三种情况，S2是S1的下一句，S2是S1的上一句，S1和S2没有上下句关系。

    推荐阅读


    上一篇：clickhouse|ClickHouse新增用户、赋予权限及其三种连接测试方式

    下一篇：问答系统|简单问答系统实现原理 - 基于机器学习的