您的位置:首页 >科技 >

谷歌发布Transformer继任者「Titans」,突破上下文记忆瓶颈

导读 谷歌在推出影响AI行业长达8年的Transformer架构后,发布了全新的Titans架构。Titans旨在解决Transformer在记忆长上下文方面的局限,通过引...

谷歌在推出影响AI行业长达8年的Transformer架构后,发布了全新的Titans架构。Titans旨在解决Transformer在记忆长上下文方面的局限,通过引入长期神经记忆模块,在测试时实现更好的记忆功能。该架构能够将上下文窗口扩展到200万tokens,在语言建模、常识推理、基因组学和时序预测任务上表现优异。

Titans架构包含三种变体:记忆作为上下文(MAC)、记忆作为门(MAG)和记忆作为层(MAL),分别通过不同的方式将神经记忆融合到系统中。实验结果表明,Titans架构比Transformer和近年来的现代线性循环模型更有效,且在处理非常长的序列时表现更佳。此外,谷歌还详细介绍了长期神经记忆模块的训练和检索方法,以及如何并行化训练过程。

版权声明:转载此文是出于传递更多信息之目的。若有来源标注错误或侵犯了您的合法权益,请作者持权属证明与本网联系,我们将及时更正、删除,谢谢您的支持与理解。
关键词: