奥特曼预言后Transformer时代,新架构竞赛已打响
【导语近日Sam Altman 在斯坦福访谈中预言未来将诞生全新底层架构取代Transformer。他认为可用当下AI寻找新架构且“后Transformer”竞赛已火热展开多个新架构涌现产业界也积极响应。】Transformer算力黑洞催生新架构探索Transformer虽造就了GPT帝国但存在天生的算力黑洞文本长度增加10倍计算量会增加100倍运行GPT - 5.4级别的模型烧钱速度惊人。奥特曼意识到这一困境认为现在的模型足够聪明能辅助人类寻找下一代架构形成自我加速的飞轮。Mamba架构挑战Transformer“后Transformer”竞赛中Mamba是最高调的挑战者。它在2023年底被提出彻底绕开“注意力机制”改用状态空间模型SSM处理序列。Transformer读一段话要让每个词与其他所有词“对视”一遍而Mamba只维护一个固定大小的记忆状态能在线性时间内完成推理吞吐量直接快5倍。2026年初Mamba已进化到第三代论文被ICLR 2026接收。产业界也积极响应英伟达在2025年发布Nemotron - H系列92%的注意力层被Mamba层替换推理速度提升3倍精度不降反升。到2025年底英伟达全线新模型全部切换到Mamba - Transformer混合架构。多元创新架构崭露头角除了Mamba还有其他创新性方向。Liquid AI搞出的液态神经网络灵感来自线虫用微分方程驱动神经元推理时还能继续学习、实时适应环境变化19个神经元就能控制自动驾驶。2026年1月发布的LFM2.5模型用远小于Transformer的参数量跑出了惊人的性能。奥特曼的多元判断与行业影响奥特曼在访谈中还输出了多个观点如预测AGI两年内降临认为编程智能体是下一个ChatGPT时刻未来会出现大量微型初创公司甚至可能出现AI CEO等。他的这些判断反映了他对AI行业发展的深刻洞察也将对行业产生深远影响。编辑观点奥特曼对新架构的预言及行业现状表明AI架构变革已箭在弦上。新架构的涌现将推动AI性能大幅提升也将重塑行业格局未来有望诞生比OpenAI更伟大的公司。
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2419024.html
如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!