MiniRBT中文小型预训练模型系列

  在自然语言处理领域中，预训练语言模型（Pre-trained Language Models）已成为非常重要的基础技术。为了进一步促进中文信息处理的研究发展，哈工大讯飞联合实验室（HFL）基于自主研发的知识蒸馏工具TextBrewer，结合了全词掩码（Whole Word Masking）技术和知识蒸馏（Knowledge Distillation）技术推出中文小型预训练模型MiniRBT。

1.MiniRBT GitHub

2.内容导引

3.简介和模型下载

4.快速加载和模型对比

5.蒸馏设置和中文基线系统效果

参考文献：
[1]MiniRBT：https://github.com/iflytek/MiniRBT
[2]Pre-training with Whole Word Masking for Chinese BERT：https://ieeexplore.ieee.org/document/9599397
[3]TextBrewer: An Open-Source Knowledge Distillation Toolkit for Natural Language Processing：https://aclanthology.org/2020.acl-demos.2
[4]CLUE: A Chinese Language Understanding Evaluation Benchmark：https://aclanthology.org/2020.coling-main.419
[5]TinyBERT: Distilling BERT for Natural Language Understanding：https://aclanthology.org/2020.findings-emnlp.372