01｜ChatGPT 里的 G、P、T 分别指什么?

GPT：Generative Pre-trained Transformer

生成式 预训练 变换模型

什么是 Generative 生成式

什么是 Pre-trained 预训练

什么是 Transformer 变换模型

Transformer 简单一些的解释

你可以简单理解为它是一个黑盒子，当我们在做文本翻译任务是，我输入进去一个中文，经过这个黑盒子之后，输出来翻译过后的英文。

Transformer不等于预训练模型，它不能完全摆脱人工标注数据。模型在质量上更优，更易于并行化，所需训练的时间明显变少

监督学习 VS 无监督学习 VS 强化学习

什么是注意力机制

ChatGPT 的技术原理

ChatGPT背后的GPT模型是在一个超大语料基础上预训练出的大语言模型 （LLM），采用从左到右进行填字概率预测的自回归语言模型，并基于 prompting（提示）来适应不同领域的任务。

再简单一些讲：GPT 模型使用 Google 几年前推出的 Transformer 架构 来预测下一个单词的概率分布，通过训练在大型文本语料库上学习到的语 言模式来生成自然语言文本。

从 GPT-1 到 GPT-3 智能化程度不断提升，ChatGPT 的到来也是 GPT-4 正式推出之前的序章。