一种让大语言模型更智能地思考难题的方法这项新技术使大语言模型能够根据问题的难度动态调整用于推理的计算量。为了使大语言模型在回答较难问题时更加准确研究人员可以让模型花费更多时间来思考潜在解决方案。但是赋予大语言模型这种能力的常见方法会为每个问题设定固定的计算预算无论问题有多复杂。这意味着大语言模型可能会在简单问题上浪费计算资源或者无法解决需要更多推理的复杂问题。为了解决这个问题某机构的研究人员开发了一种更智能的方法在大语言模型解决问题时动态分配计算资源。他们的方法使模型能够根据问题的难度以及每个部分解决方案导向正确答案的可能性动态调整其计算预算。研究人员发现他们的新方法使大语言模型在解决难度各异的一系列问题时仅需现有方法一半的计算量即可达到相当的准确率。此外他们的方法使规模更小、资源需求更低的大语言模型在复杂问题上能够表现得与更大模型一样好甚至更好。通过提高大语言模型的可靠性和效率尤其是在处理复杂推理任务时这项技术可以减少生成式人工智能系统的能耗并使大语言模型能够应用于更高风险和对时间更敏感的应用场景。“推理的计算成本已迅速成为前沿模型提供商的主要瓶颈他们正积极寻求提高每个用户查询计算效率的方法。例如最近的某模型发布就凸显了我们论文所提出的‘自适应推理’方法的有效性。通过赋予模型‘知道自身未知’的能力我们可以让模型在最难的问题和最有希望的解决路径上投入更多计算资源而在简单问题上使用少得多的令牌。这使得推理既更可靠也远更高效。”该论文的资深作者说道。用于深思的计算一种称为“推理时扩展”的新近方法允许大语言模型花更多时间思考难题。使用推理时扩展大语言模型可以同时生成多个解决方案尝试或探索不同的推理路径然后从这些候选中选择最佳路径继续推进。一个独立的模型即过程奖励模型会对每个潜在解决方案或推理路径进行评分。大语言模型利用这些分数来识别最有希望的路径。典型的推理时扩展方法为大语言模型分解问题和逐步推理分配固定的计算量。而研究人员的这种方法称为“实例自适应扩展”则根据模型在处理问题时各个潜在解决方案或推理步骤成功的可能性动态调整其数量。“这就是人类解决问题的方式。我们会想出一些部分解决方案然后决定是应该继续沿着其中任何一个深入下去还是停下来修改甚至回溯到上一步并从那里继续解决问题”另一位研究人员解释道。为了实现这一点该框架使用过程奖励模型来估计问题的难度帮助大语言模型评估应该利用多少计算预算来生成和推理潜在解决方案。在模型推理过程的每一步过程奖励模型都会查看问题和部分答案评估每个答案导向正确解的可能性。如果大语言模型更有信心它就可以减少需要追求的潜在解决方案或推理轨迹的数量从而节省计算资源。但研究人员发现现有的过程奖励模型常常高估模型成功的概率。克服过度自信“如果我们仅仅相信当前的过程奖励模型它们往往高估成功几率我们的系统就会过于激进地削减计算预算。因此我们首先需要找到一种方法来更好地校准过程奖励模型使推理时扩展更高效、更可靠。”论文的主要作者说道。研究人员引入了一种校准方法使过程奖励模型能够生成一个概率分数范围而不是单一值。通过这种方式过程奖励模型创建了更可靠的不确定性估计能更好地反映真实的成功概率。有了良好校准的过程奖励模型他们的实例自适应扩展框架就可以利用概率分数在保持模型输出准确性的同时有效减少计算量。当他们在一系列数学推理任务中将该方法与标准的推理时扩展方法进行比较时该方法在解决每个问题时所使用的计算量更少同时达到相似的准确率。“我们方法的美妙之处在于这种适应是在问题解决过程中动态发生的而不是在过程开始时一次性完成。”另一位研究人员说道。未来研究团队有兴趣将这项技术应用于其他应用如代码生成和人工智能代理。他们还计划探索其过程奖励模型校准方法的更多用途例如强化学习和微调。FINISHED更多精彩内容 请关注我的个人公众号 公众号办公AI智能小助手或者 我的个人博客 https://blog.qife122.com/对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号网络安全技术点滴分享