【新智元导读】Transformer已满8岁，革命性论文《Attention Is All You Need》被引超18万次，掀起生成式AI革命。 Transformer，八岁了！ 开创如今这场生成式AI革命的论文《Attention Is All You Need》迎来了第8个年头。 Transformer催生了ChatGPT、Gemini、Claude等诸多前沿产品。 更重要 ...

自 2017 年开创性研究论文《Attention is All You Need》问世以来，transformer 架构就一直主导着生成式人工智能领域。 然而，transformer 架构实际上有两个显著缺点： 内存占用大：Transformer 的内存占用量随上下文长度而变化。这使得在没有大量硬件资源的情况下运行长 ...