谷歌发布Transformer继任者「Titans」，突破上下文记忆瓶颈
发布时间：2025-01-16 16:46:54来源：
谷歌在推出影响AI行业长达8年的Transformer架构后，发布了全新的Titans架构。Titans旨在解决Transformer在记忆长上下文方面的局限，通过引入长期神经记忆模块，在测试时实现更好的记忆功能。该架构能够将上下文窗口扩展到200万tokens，在语言建模、常识推理、基因组学和时序预测任务上表现优异。
Titans架构包含三种变体：记忆作为上下文（MAC）、记忆作为门（MAG）和记忆作为层（MAL），分别通过不同的方式将神经记忆融合到系统中。实验结果表明，Titans架构比Transformer和近年来的现代线性循环模型更有效，且在处理非常长的序列时表现更佳。此外，谷歌还详细介绍了长期神经记忆模块的训练和检索方法，以及如何并行化训练过程。
免责声明：本答案或内容为用户上传，不代表本网观点。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容。 如遇侵权请及时联系本站删除。
