英文领域： deberta v3：微软开源的模型，在许多任务上超过了bert和roberta，现在kaggle中比较常用此模型打比赛，也侧面反映了deberta v3的效果是最好的。 ernie 2.0：这个百度是只开源了英文版，我. A robustly optimized bert pretraining approach 作者单位： 华盛顿大学 保罗·艾伦计算机科学与 工程学院，facebook ai 这篇文章是 bert 系列模型和 xlnet 模型的又一次交. However, they differ in how they prepare such masking.
Roberta Franco Reels added a new photo. Roberta Franco Reels
The original roberta article explains it in section 4.1:
The masked language model task is the key to bert and roberta.
