Chinese BERT wwm:汉语BERT的全字掩蔽预训练(EnglishBERT wwm系列模型) 源码

| 在自然语言处理领域中,预训练语言模型(预训练语言模型)已成为非常重要的基础技术。为了进一步促进中文信息处理的研究发展,我们发布了基于全词遮罩(Whole Word Masking)技术的中文预训练模型BERT-wwm,以及更多技术相关的模型:BERT-wwm-ext,RoBERTa-wwm-ext,RoBERTa-wwm-ext-large,RBT3,RBTL3。 崔一鸣,车万祥,刘婷,秦兵,杨自清,王世进,胡国平 本项目基于谷歌官方BERT: : 其他相关资源: MacBERT预训练模型: : 中文ELECTRA预训练模型: : 中文XLNet预训练模型: : 知识蒸馏工