
阿升
V1
2023/03/01阅读:28主题:默认主题
Colosse-AI开源ChatGPT方案
Colosse-AI刚刚开放了一个开源方案,用来复制ChatGPT的训练过程,允许以极低的成本复制ChatGPT训练过程,并减少了硬件限制,大大降低了ChatGPT类应用的成本。只需要一半的硬件资源,就可以进行1750亿参数模型的训练(从64张卡到32张卡),单服务器训练的加速比提高了7.73倍,单GPU推理的加速比提高了1.42倍。





参考文献:
[1]ColossalAI:https://github.com/hpcaitech/ColossalAI/tree/main/applications/ChatGPT
作者介绍

阿升
V1
吾爱DotNet(公众号)