
阿升
V1
2023/01/27阅读:36主题:默认主题
中文BERT-wwm系列模型
为了进一步促进中文信息处理的研究发展,发布了基于全词掩码(Whole Word Masking)技术的中文预训练模型BERT-wwm,以及与此技术密切相关的模型:BERT-wwm-ext,RoBERTa-wwm-ext,RoBERTa-wwm-ext-large,RBT3,RBTL3等。
1.Chinese-BERT-wwm GitHub
2.内容导引和简介
3.中文模型下载
4.PyTorch版本和Transformers库
参考文献:
[1]Chinese-BERT-wwm:https://github.com/ymcui/Chinese-BERT-wwm
[2]谷歌官方BERT:https://github.com/google-research/bert
[3]Pre-Training With Whole Word Masking for Chinese BERT:https://ieeexplore.ieee.org/document/9599397
作者介绍

阿升
V1
吾爱DotNet(公众号)