阿升

V1

2023/02/07阅读:33主题:默认主题

Transformer结构及其应用详解--GPT、BERT、MT-DNN、GPT-2

  本文首先详细介绍Transformer的基本结构,然后再通过GPT、BERT、MT-DNN以及GPT-2等基于Transformer的知名应用工作的介绍并附上GitHub链接,看看Transformer是如何在各个著名的模型中大显神威的。

1.目录
  包括取代RNN-Transformer,单向二阶段训练模型-OpenAIGPT,双向二阶段训练模型-BERT,多任务模型-MT-DNN,单向通用模型-GPT-2,总结。

2.评论

参考文献:
[1]Transformer结构及其应用详解--GPT、BERT、MT-DNN、GPT-2:https://zhuanlan.zhihu.com/p/69290203

分类:

人工智能

标签:

自然语言处理

作者介绍

阿升
V1

吾爱DotNet(公众号)