为了进一步促进中文信息处理的研究发展，发布了基于全词掩码（Whole Word Masking）技术的中文预训练模型BERT-wwm，以及与此技术密切相关的模型：BERT-wwm-ext，RoBERTa-wwm-ext，RoBERTa-wwm-ext-large，RBT3，RBTL3等。

1.Chinese-BERT-wwm GitHub

2.内容导引和简介

3.中文模型下载

4.PyTorch版本和Transformers库

参考文献：
[1]Chinese-BERT-wwm：https://github.com/ymcui/Chinese-BERT-wwm
[2]谷歌官方BERT：https://github.com/google-research/bert
[3]Pre-Training With Whole Word Masking for Chinese BERT：https://ieeexplore.ieee.org/document/9599397