IT之家 5 月 30 日消息，近日 Meta 团队开发了一款名为 Megabyte 的 AI 模型以抗衡 Transformer，据称 Megabyte 解决了 Transformer 模型所面临的问题，并且在速度上提升了 40%。
目前 Transformer 在自然语言处理等领域非常流行，但由于其序列数据的处理方式是逐步进行的，无法并行化处理，因此训练速度较慢； 难以处理长序列，因为其在反向传播过程中，梯度很容易消失或爆炸；此外，由于需要在每一步保留历史信息，内存消耗较大。
而 Megabyte 模型将输入和输出序列划分为 patch，而不是单个的 token。这种架构使得对大多数任务而言字节级别的预测相对容易，例如根据前几个字符预测完成的单词等。这意味着在大型网络中可以精简字符以提升效率，并且内部预测可以使用更小的模型进行。Megabyte 模型的这种方法解决了当今 AI 模型所面临的训练速度、可靠性及硬件占用比挑战。
此外，在计算效率方面，相比于等大的 Transformer 和 Linear Transformer，Megabyte 模型在固定模型大小和序列长度范围内使用更少的 token。因此相对于 Transformer，Megabyte 模型可以在相同的计算成本下训练内容更丰富、体积更大、性能更好的模型。
目前 Meta 团队放出了 Megabyte 模型的论文，IT之家小伙伴可以前往查阅。
以上就是【Meta 发布 Megabyte AI 模型抗衡 Transformer ，速度提升 4 成】的相关内容，查看其它ai资讯请关注微咔网
根据二〇〇二年一月一日《计算机软件保护条例》第十七条规定：为了学习和研究软件内含的设计思想和原理，通过安装、显示、传输或者存储软件等方式使用软件的，可以不经软件著作权人许可，不向其支付报酬。
本网站所有发布的源码、软件和资料，均为作者提供或网友推荐收集各大资源网站整理而来，仅供功能验证和学习研究使用。
所有资源的文字介绍均为网络转载，本站不保证相关内容真实可信，同时不保证所有资源100%无错可用，也不提供相应的技术支持，介意勿下。
您必须在下载后24小时内删除，不得用于非法商业用途，不得违反国家法律，一切关于该资源的商业行为与本站无关。
如果您喜欢该程序，请支持正版源码，得到更好的正版服务。、如有侵犯你的版合法权益，请邮件与我们联系处理【投诉/建议发送至邮箱：3066548754@qq.com】，本站将立即改正并删除。
本声明为本站所有资源最终声明，所有与本声明不符的表述均以本声明内容为准。
微咔网 » Meta 发布 Megabyte AI 模型抗衡 Transformer ，速度提升 4 成
