Transformer高效训练综述

  本综述首次系统地概述了Transformer的高效训练，涵盖了加速算法和硬件方面的最新进展。分析和比较了在训练期间节省中间张量计算和存储成本的方法，以及硬件/算法协同设计的技术。最后讨论了面临的挑战和未来的研究方向。

1.摘要

2.Transformer高效训练

参考文献：
[1]A Survey on Efficient Training of Transformers.pdf: https://url39.ctfile.com/f/2501739-803112780-c170dc?p=2096 (访问密码: 2096)