Colosse-AI开源ChatGPT方案

  Colosse-AI刚刚开放了一个开源方案，用来复制ChatGPT的训练过程，允许以极低的成本复制ChatGPT训练过程，并减少了硬件限制，大大降低了ChatGPT类应用的成本。只需要一半的硬件资源，就可以进行1750亿参数模型的训练(从64张卡到32张卡)，单服务器训练的加速比提高了7.73倍，单GPU推理的加速比提高了1.42倍。

参考文献：
[1]ColossalAI：https://github.com/hpcaitech/ColossalAI/tree/main/applications/ChatGPT