阿升

V1

2023/02/12阅读:206主题:默认主题

参与ChatRWKV项目,做开源ChatGPT

  ChatRWKV,类似ChatGPT的开源工具,基于RWKV(100%RNN)语言模型。RWKV是作者魔改RNN而来,自我介绍为看齐transformer性能的纯RNN,梯度可以无限走,也能并行化,拥有RNN和transformer的所有优点。

1.算力、数据和模型

2.开发者和生态

3.RWKV-LM GitHub

4.ChatRWKV GitHub

参考文献:
[1]参与ChatRWKV项目,做开源ChatGPT:https://zhuanlan.zhihu.com/p/603840957
[2]RWKV-LM:https://github.com/BlinkDL/RWKV-LM
[3]ChatRWKV:https://github.com/BlinkDL/ChatRWKV
[4]RWKV 14B对比GLM 130B和NeoX 20B,展示RWKV的性能:https://zhuanlan.zhihu.com/p/605425639

分类:

人工智能

标签:

自然语言处理

作者介绍

阿升
V1

吾爱DotNet(公众号)