
阿升
V1
2023/02/16阅读:247主题:默认主题
使用PyTorch复现ChatGPT
Colossal-AI快速跟进,首个开源低成本复现ChatGPT完整流程:
(1)开源完整基于PyTorch的ChatGPT复现流程,涵盖全部3个阶段,可实现从预训练模型到ChatGPT的蜕变;
(2)体验最小demo训练流程最低仅需1.62GB显存,任意单张消费级GPU即可满足,单卡模型容量最多提升10.3倍;
(3)相比原生PyTorch,最高可提升单机训练速度7.73倍,单卡推理速度1.42倍,一行代码即可使用;
(4)对于微调任务,可最多提升单卡的微调模型容量3.7倍,同时保持高速运行,仅需一行代码;
(5)提供单卡、单机多卡、1750亿参数等多个版本,支持从Hugging Face导入OPT、GPT-3、BLOOM等多种预训练大模型;
(6)收敛验证正在进行中,该项目也在吸引合作者共建生态。
1.ColossalAI GitHub

2.目录
3.推理演示
4.PyPi和源码安装
参考文献:
[1]开源地址:https://github.com/hpcaitech/ColossalAI
[2]参考链接:https://www.hpc-ai.tech/blog/colossal-ai-chatgpt
作者介绍

阿升
V1
吾爱DotNet(公众号)