使用PyTorch复现ChatGPT

Colossal-AI快速跟进，首个开源低成本复现ChatGPT完整流程：
（1）开源完整基于PyTorch的ChatGPT复现流程，涵盖全部3个阶段，可实现从预训练模型到ChatGPT的蜕变；
（2）体验最小demo训练流程最低仅需1.62GB显存，任意单张消费级GPU即可满足，单卡模型容量最多提升10.3倍；
（3）相比原生PyTorch，最高可提升单机训练速度7.73倍，单卡推理速度1.42倍，一行代码即可使用；
（4）对于微调任务，可最多提升单卡的微调模型容量3.7倍，同时保持高速运行，仅需一行代码；
（5）提供单卡、单机多卡、1750亿参数等多个版本，支持从Hugging Face导入OPT、GPT-3、BLOOM等多种预训练大模型；
（6）收敛验证正在进行中，该项目也在吸引合作者共建生态。

1.ColossalAI GitHub