这应该是今天刚刚出炉的、最炸裂的文章。在很多算子开发的微信群组已经掀起了轩然大波。「这或许是超人类智能在软件领域的真正首次展露。」英伟达许冰刚刚在 X 上发出了如此断言。他所评论的正是他与 Terry Chen 和 Zhifan Ye 为共同一作的一项英伟达新研究 AVO。在本周四刚刚提交到 arXiv 上的这项研究中英伟达构建了 Agentic Variation OperatorAVO这是一类新型进化变异算子它用自主编码智能体取代了经典进化搜索中固定的变异、交叉和人工设计的启发式方法并取得了相当震撼的实际表现。许冰表示「在一些经过高度优化的注意力机制工作负载中智能体在没有人工干预的情况下即可在优化循环中连续搜索 7 天从而超越几乎所有人类 GPU 专家。」——AVO 的如此表现可能会让许多内核/DSL 瑟瑟发抖。黄之鹏的 X 推文有意思的是在 X 推文中许冰还分享说一年半之前他与 Terry Chen 刚开始在英伟达研究智能体编程时他们还不懂 GPU 编程「所以从一开始我们就致力于开发完全自动化、无需人工干预的系统。」他们称之为「盲编程blind coding」。「在过去一年半的时间里我们两人在两个智能体系统中开发了四代智能体。从第二代开始这些智能体栈就开始自我演化。现在每个智能体的代码行数都约为 10 万行非空代码。」他还重点强调了 AVO 背后的重大意义「我敢打赌盲编程是软件工程的未来。人类认知能力是瓶颈。」下面我们就来详细看看这篇或将开启「盲编程」新时代的论文究竟做出了什么贡献。论文标题AVO: Agentic Variation Operators for Autonomous Evolutionary Search论文地址https://arxiv.org/abs/2603.24517v1大语言模型已成为进化搜索Evolutionary Search中的强大组件它以学习代码生成取代了手工设计的变异算子。在这些系统中LLM 根据选定的父代生成候选解而通常基于启发式的框架则负责父代采样、评估和种群管理。这种组合在数学优化和算法发现领域取得了显著成果包括 FunSearch 和 AlphaEvolve 等旗舰系统。然而将 LLM 限制在预设流程中的候选解生成功能从根本上限制了其发现能力每次调用仅产生一个输出无法主动查阅参考资料、测试其更改、解读反馈或在提交候选方案前修正方案。对于那些已经过极致人工调优、需要深度迭代工程才能进一步改进的实现这种限制尤为突出。研究者针对注意力机制背景下的这一问题进行了研究。注意力机制是 Transformer 架构的核心算子也是优化最密集的 GPU 算子之一。FlashAttention 系列 和英伟达的 cuDNN 库已将历代 GPU 的注意力吞吐量推向硬件极限在最新的 Blackwell 架构上FlashAttention-4 (FA4) 和 cuDNN 均需要数月的人工优化。若要超越这些实现需要与开发环境进行持续、迭代的交互研究硬件文档、分析分析器Profiler输出以识别瓶颈、实现并测试候选优化方案、诊断正确性故障并根据积累的经验修正策略。深度智能体Deep Agents的最新进展表明结合了规划、持久内存和工具使用能力的 LLM 可以自主处理此类多步工程工作流应用范围涵盖从解决复杂的 GitHub 问题到生成关键深度学习软件。这促使 LLM 在演化搜索中扮演一种截然不同的角色与其将其限制在固定流水线内不如将深度智能体提升为变异算子本身。为此英伟达提出了智能体式变异算子Agentic Variation Operators, AVO。在这种模式下一个自导向的代码代理取代了以往基于单轮 LLM 或固定工作流系统中的变异和交叉过程。AVO 智能体拥有访问所有先前方案、特定领域知识库和评估工具的权限。它能自主决定查阅内容、修改对象以及评估时机从而实现在长周期内的持续改进。为了验证其有效性英伟达将 AVO 应用于 NVIDIA Blackwell B200 GPU 上的多头注意力MHA内核并直接与专家优化的 cuDNN 和 FlashAttention-4 内核进行对比。在无需人工干预、长达 7 天的连续自主演化中智能体探索了超过 500 个优化方向演化出 40 个内核版本。最终生成的 MHA 内核在 BF16 精度下达到了最高 1668 TFLOPS 的吞吐量在测试配置中分别超越 cuDNN 高达 3.5%超越 FlashAttention-4 高达 10.5%。英伟达对智能体发现的优化方案进行分析后发现这些优化涵盖了内核设计的多个层面包括寄存器分配、指令流水线调度和负载分布反映了真正的硬件级推理。实验表明在 MHA 上发现的优化技术能有效迁移至分组查询注意力GQA智能体仅需 30 分钟的额外自主适配即可完成演化版 MHA 内核对 GQA 的支持其性能相比 cuDNN 提升高达 7.0%相比 FlashAttention-4 提升 9.3%。该研究的主要贡献如下提出代理式变异算子AVO这是一类新型的演化变异算子将智能体从单纯的候选生成器提升为变异算子。智能体通过与环境的迭代交互自主探索领域知识、实施修改并验证结果。实现 SOTA 性能在 NVIDIA B200 GPU 上研究者在基准测试配置中实现了最顶尖的 MHA 吞吐量达到 1668 TFLOPS性能超越 cuDNN 高达 3.5%超越 FlashAttention-4 高达 10.5%。此外他们证明了这些优化可以轻松迁移至 GQA仅需 30 分钟的自主演化即可获得显著性能增益。微架构优化分析研究者对智能体在基准测试设置下发现的微架构优化进行了详细分析表明代理进行的是真正的硬件级推理而非表层的代码变换。告别流水线AI 智能体成为真正的「进化操盘手」在传统的基于 LLM 的进化搜索框架中模型往往被困在固定的流水线里仅仅充当候选代码的生成器。它们每次调用只能输出一次结果无法主动查阅参考资料、测试代码、理解反馈或在最终提交前修正策略。对于需要深度、反复迭代的顶级硬件优化任务来说这种限制尤为致命。AVO 打破了这一局限将「变异算子」实例化为一个自我驱动的智能体循环。这个 AI 智能体可以自由查阅之前的代码版本记录、调用领域专属的知识库如 CUDA 编程指南和 PTX 架构文档并根据执行反馈来主动提出、修复、批判和验证代码修改。简而言之AVO 将 AI 从被动的「代码生成器」提升为了掌握全局的「进化操盘手」。7 天自主运转在 Blackwell 架构上击败顶尖基准研究团队将 AVO 部署在一项极具挑战性的任务上在 NVIDIA Blackwell (B200) GPU 上优化多头注意力Multi-head Attention简称 MHA核心代码。注意力机制是目前 Transformer 架构的核心也是 AI 芯片上被优化得最极致的计算目标之一。在完全没有人类干预的情况下AVO 智能体连续自主运行了 7 天。在这 7 天里智能体在后台探索了超过 500 个优化方向并最终提交了 40 个有效迭代版本。最终它生成的 MHA 核心在 BF16 精度下实现了高达 1668 TFLOPS 的吞吐量。在基准测试中AVO 交出的答卷令人惊叹相比英伟达官方为 Blackwell 定制的闭源 cuDNN 库吞吐量提升了最高 3.5%。相比目前最前沿的开源基准 FlashAttention-4吞吐量提升了最高 10.5%。强大的泛化能力30 分钟迁移至分组查询注意力更令人印象深刻的是这些由智能体发现的底层微架构优化并非只针对特定场景的过度拟合。当研究人员要求 AVO 将优化好的 MHA 核心适配到如今大模型常用的分组查询注意力Grouped-query Attention简称 GQA时智能体仅用了约 30 分钟的自主调整就完成了任务。在 GQA 的测试中AVO 依然保持了绝对的领先优势性能比 cuDNN 高出最高 7.0%比 FlashAttention-4 高出最高 9.3%。这表明智能体在 MHA 进化过程中发现的计算和内存访问优化模式能够有效泛化到具有不同计算特征的 GQA 任务中。深入底层的微架构推理分析 AVO 提交的代码变更可以看出AI 智能体并非在做表面功夫而是进行了真正深入硬件底层的逻辑推理 无分支累加器重缩放通过消除条件分支智能体排除了 warp 同步的开销并替换了更轻量级的内存屏障使得非因果注意力的吞吐量一次性提升了 8.1%。纠错与张量核心MMA流水线重叠智能体重新组织了执行流水线将原本顺序执行的依赖关系转化为交叠的流水线执行大幅减少了硬件的空闲等待时间。跨 warp 组的寄存器重新平衡智能体通过分析性能分析器的数据发现某些运算组因为寄存器不足而导致数据溢出至慢速本地内存。它果断对 Blackwell 的 2048 个寄存器预算进行了重新分配进一步压榨出 2.1% 的性能提升。英伟达的这项研究证明AI 智能体已经具备了处理多硬件子系统如同步、内存排序、流水线调度和寄存器分配联合推理的能力。AVO 作为一种不局限于特定领域的进化变异算子为未来的自动化软件系统优化指出了一条明路。它不仅能用于 AI 芯片和深度学习底层生态的开发未来更有望在所有对算力有着极致苛求的科学和工程领域中大展拳脚。AI 智能体的自我进化能够达到这种水平你怕了吗学习资源推荐如果你想更深入地学习大模型以下是一些非常有价值的学习资源这些资源将帮助你从不同角度学习大模型提升你的实践能力。一、全套AGI大模型学习路线AI大模型时代的学习之旅从基础到前沿掌握人工智能的核心技能​因篇幅有限仅展示部分资料需要点击文章最下方名片即可前往获取二、640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示​因篇幅有限仅展示部分资料需要点击文章最下方名片即可前往获取三、AI大模型经典PDF籍随着人工智能技术的飞速发展AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型如GPT-3、BERT、XLNet等以其强大的语言理解和生成能力正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。因篇幅有限仅展示部分资料需要点击文章最下方名片即可前往获取四、AI大模型商业化落地方案作为普通人入局大模型时代需要持续学习和实践不断提高自己的技能和认知水平同时也需要有责任感和伦理意识为人工智能的健康发展贡献力量。