阿升

V1

2023/01/27阅读:36主题:默认主题

中文BERT-wwm系列模型

  为了进一步促进中文信息处理的研究发展,发布了基于全词掩码(Whole Word Masking)技术的中文预训练模型BERT-wwm,以及与此技术密切相关的模型:BERT-wwm-ext,RoBERTa-wwm-ext,RoBERTa-wwm-ext-large,RBT3,RBTL3等。

1.Chinese-BERT-wwm GitHub

2.内容导引和简介

3.中文模型下载

4.PyTorch版本和Transformers库

参考文献:
[1]Chinese-BERT-wwm:https://github.com/ymcui/Chinese-BERT-wwm
[2]谷歌官方BERT:https://github.com/google-research/bert
[3]Pre-Training With Whole Word Masking for Chinese BERT:https://ieeexplore.ieee.org/document/9599397

分类:

人工智能

标签:

自然语言处理

作者介绍

阿升
V1

吾爱DotNet(公众号)