Tree of Thoughts终极指南5分钟掌握思维树算法原理与实战应用【免费下载链接】tree-of-thought-llm[NeurIPS 2023] Tree of Thoughts: Deliberate Problem Solving with Large Language Models项目地址: https://gitcode.com/gh_mirrors/tr/tree-of-thought-llmTree of Thoughts (ToT)是一种革命性的大语言模型推理框架它通过构建思维树结构让AI进行深思熟虑的问题解决。相比于传统的输入-输出提示和思维链方法ToT让模型能够探索多个推理路径并进行回溯显著提升了复杂问题的解决能力。本文将为您全面解析Tree of Thoughts的核心概念、实现原理和实际应用。 什么是Tree of ThoughtsTree of Thoughts思维树是由普林斯顿大学研究团队提出的创新性推理框架旨在解决大语言模型在复杂推理任务中的局限性。传统的提示方法如Input-Output Prompting只能进行简单映射Chain of Thought虽然能进行逐步推理但仍然局限于单一路径。而ToT通过构建树状结构允许模型同时探索多个推理分支并基于评估结果选择最优路径。图四种提示方法的架构对比(a)输入-输出提示(b)思维链提示(c)带自洽性的思维链(d)思维树方法 快速开始使用ToT安装与配置安装Tree of Thoughts库非常简单您可以通过两种方式方式一通过PyPI安装pip install tree-of-thoughts-llm方式二从源码安装git clone https://gitcode.com/gh_mirrors/tr/tree-of-thought-llm cd tree-of-thought-llm pip install -r requirements.txt pip install -e .基础使用示例以下是一个解决24点游戏的简单示例import argparse from tot.methods.bfs import solve from tot.tasks.game24 import Game24Task args argparse.Namespace( backendgpt-4, temperature0.7, taskgame24, naive_runFalse, prompt_sampleNone, method_generatepropose, method_evaluatevalue, method_selectgreedy, n_generate_sample1, n_evaluate_sample3, n_select_sample5 ) task Game24Task() ys, infos solve(args, task, 900) print(ys[0])运行结果示例10 - 4 6 (left: 5 6 6) 5 * 6 30 (left: 6 30) 30 - 6 24 (left: 24) Answer: (5 * (10 - 4)) - 6 24 核心算法原理详解思维树的三阶段流程Tree of Thoughts算法包含三个关键阶段思维生成Thought Generation方法sample独立采样或propose顺序提议对应参数--method_generate实现文件src/tot/methods/bfs.py状态评估State Evaluation方法value独立评估或vote投票评估对应参数--method_evaluate评估函数定义在任务类中路径选择Path Selection方法greedy贪心选择或beam束搜索对应参数--method_select选择策略在BFS算法中实现广度优先搜索BFS实现项目的核心算法实现在src/tot/methods/bfs.py中采用了广度优先搜索策略遍历思维树。算法会保留每一步的最佳状态通过n_select_sample参数控制逐步构建解决方案。 实验任务与数据集项目提供了三个标准测试任务展示ToT在不同领域的应用1. 24点游戏Game of 24任务描述使用四个数字通过加减乘除得到24数据文件src/tot/data/24/24.csv任务类src/tot/tasks/game24.py提示模板src/tot/prompts/game24.py2. 创意写作Creative Writing任务描述生成连贯的创意文本数据文件src/tot/data/text/data_100_random_text.txt任务类src/tot/tasks/text.py3. 填字游戏Crosswords任务描述解决迷你填字游戏数据文件src/tot/data/crosswords/mini0505.json任务类src/tot/tasks/crosswords.py特殊算法使用DFS而非BFS详见scripts/crosswords/search_crosswords-dfs.ipynb️ 如何添加自定义任务添加新任务只需两个简单步骤第一步创建任务类在src/tot/tasks/目录下创建新的任务文件继承自Task基类。参考src/tot/tasks/game24.py的实现模式主要需要实现__init__()初始化数据get_input()获取输入test_output()验证输出第二步创建提示模板在src/tot/prompts/目录下创建对应的提示文件。根据任务特性选择合适的生成和评估方法对于顺序推理任务如数学计算使用propose生成和value评估对于创意生成任务如写作使用sample生成和vote评估⚙️ 关键参数配置指南运行实验时的主要参数参数选项说明--naive_runTrue/False是否使用朴素IO/CoT采样--prompt_samplestandard/cot采样提示类型--method_generatesample/propose思维生成方法--method_evaluatevalue/vote状态评估方法--n_generate_sample整数思维生成采样次数--n_evaluate_sample整数状态评估采样次数--n_select_sample整数每步保留的状态数运行实验脚本项目提供了预配置的脚本可以快速运行不同任务的实验# 24点游戏实验 sh scripts/game24/bfs.sh sh scripts/game24/cot_sampling.sh sh scripts/game24/standard_sampling.sh # 创意写作实验 sh scripts/text/bfs.sh sh scripts/text/cot_sampling.sh sh scripts/text/standard_sampling.sh # 填字游戏实验 sh scripts/crosswords/cot_sampling.sh sh scripts/crosswords/standard_sampling.sh 性能优势与应用场景ToT的三大优势多路径探索能够同时考虑多个解决方案路径回溯能力在发现死胡同时可以回溯到之前的节点评估驱动基于价值评估指导搜索方向适用场景数学推理问题需要多步计算的数学题创意生成任务写作、故事创作等需要多样性的任务规划与决策需要评估多个选项的决策问题代码生成复杂的编程问题求解 未来发展方向Tree of Thoughts框架仍在快速发展中未来的研究方向包括算法优化改进搜索效率减少API调用次数多模态扩展应用于图像、音频等多模态任务实时应用集成到实际产品中的实时推理系统自动化提示自动生成最优的思维生成和评估提示 学习资源与社区官方资源论文Tree of Thoughts: Deliberate Problem Solving with Large Language ModelsGitHub仓库https://gitcode.com/gh_mirrors/tr/tree-of-thought-llm演示视频官方推特线程展示进阶学习阅读源代码src/tot/ 目录下的完整实现分析实验日志logs/目录包含论文实验的所有轨迹参与社区讨论通过GitHub Issues提出问题或建议 实用技巧与最佳实践温度设置对于确定性任务使用较低温度0.1-0.3创意任务使用较高温度0.7-1.0采样次数根据任务复杂度调整n_generate_sample和n_evaluate_sampleAPI成本注意BFS搜索可能产生大量API调用合理设置n_select_sample控制搜索宽度错误处理实现适当的重试机制处理API错误 总结Tree of Thoughts为大语言模型的推理能力带来了质的飞跃。通过构建思维树结构它让AI能够像人类一样进行深思熟虑的问题解决探索多个可能性并选择最优路径。无论是学术研究还是实际应用ToT都为我们打开了新的可能性。开始您的Tree of Thoughts之旅吧从安装库、运行示例到创建自定义任务每一步都将带您深入理解这一强大框架的工作原理和应用价值。【免费下载链接】tree-of-thought-llm[NeurIPS 2023] Tree of Thoughts: Deliberate Problem Solving with Large Language Models项目地址: https://gitcode.com/gh_mirrors/tr/tree-of-thought-llm创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考