目录前言空白和不足解决思路前言上周总结了一些具身智能体领域的前沿文章这周的任务主要是寻找这些领域的不足并且查阅相关资料看能否找到对应问题的解决思路空白和不足1、数据迁移问题目前训练智能体都是把框架部署到机器人身上训练每次实验都需要重新部署框架能否借助迁移学习将一个智能体学习到的经验迁移到另一个智能体上这样可以极大节省智能体的学习成本2、智能体从感知到导航再到物体交互这其实就是一个完整的任务处理流程但这些文献在彼此方向上的交融比较割裂这让我想起机器学习中推荐系统的协同过滤算法它利用不同用户的行为数据来互相补充从而推荐出更准确的物品这三个环节能否像协同过滤算法一样信息互相反馈协同优化整体3、大部分文章都引用了记忆模块虽然能够记忆物体但仅限静态场景缺乏对动态环境的感知比如在一个场景里智能体注意到红色垃圾桶一开始是放在客厅里的它会记住这一位置但当垃圾桶被移动到厨房后若缺乏动态更新机制智能体仍会前往客厅寻找导致任务失败我的想法是能否借助智能体的视觉模块时刻更新场景中的物体信息但这样有一个问题就是智能体的更新负荷变大了所以如何寻找一个既能满足动态更新还能控制其更新负荷的方法尤为重要4、对于用户指令的处理文章大部分考虑的是用户的指令是清晰、明确的但是现实中很多情况用户的指令是模糊的、不明确的我的想法是能否增加智能体的询问功能就是当用户的指令有歧义的时候智能体能否通过询问用户并结合大语言模型逐步缩小搜索范围最终寻找到合适的目标。5、补充一下记忆模块方面的思考智能体的记忆都是需要内存来存储的在完成动作之后有些物体的记忆就可以消除了比如放在客厅角落的一个收纳箱用户发布指令让智能体搬运这个收纳箱智能体分解指令、规划路线、执行动作智能体当然也保留了其记忆但之后收纳箱被用户丢弃了智能体应该自行删除其记忆信息为其他物体腾出内存空间但智能体如何判断记忆中的物体信息是否要删除呢我有两个想法第一对于长时间不交互的物体可以考虑删除其记忆信息需要的时候探索寻找即可前提是物体不放在难以寻找的地方第二对于已完成动作的物品信息也可以删除。6、大部分文献的实验数据集都是特定场景的数据集缺乏复杂场景的训练泛化能力依旧有限应当结合一些复杂场景的数据集加以训练对于这些问题我找到以下解决方法解决思路对于数据迁移问题目前我了解到的有两个方法首先是模块迁移感知模块、导航模块、交互模块分别冻结迁移只需要调节不同机器人的控制器即可不用重新训练整个框架其次是经验池共享即多个智能体共用一个经验库需要任何经验只需要从库里取出。对于三个环节优化问题首先是统一架构一个模型同时做感知、导航、交互不拆分成独立的三个模块代表有VOYAGER、GPT-4V具身控制、Embodied AGENT其次是信息闭环系统也就是反馈机制导航结果反馈给感知、感知结果反馈给交互交互结果反馈给导航以重新规划然后是共享记忆体机制三个模块同时读写同一份场景信息感知提供物体物体位置导航根据位置提供路径交互根据位置去操控操作完成后更新信息这样实际上也是反馈只不过形式上把三者框定在一起运作最后就是协同优化损失函数该函数同时监督三者只要一个环节出现问题那么整体就会一起优化对于场景动态更新问题了解到三个方法第一个是动态语义地图即物体位置实时更新并非一次性写入第二个是物体状态机该机制给物体赋予状态属性静态、被移动、被拿起、被放置、消失只要物体的状态属性改变那么位置就自动更新当物体的状态为消失时则消除该物体记忆第三个是时序跟踪机制该机制将物体信息用一个物体ID代替当位置出现变化智能体只需要根据ID就能快速找到物体记忆及时清除和更新对于模糊指令的处理目前的方法是结合LLM和VLM进行歧义的判断以及生成问题问用户这与我之前提到的想法很相似第二种是多模态询问即机器人不仅口头上询问用户有时机器人的表达可能也会出现歧义同时生成图片或者箭头指向候选物体提升了用户和智能体的交流效率对于记忆更新主要是对无用物体长期占用记忆内存的问题有3个方法第一个是记忆过期机制即对于长时间未访问的物体智能体可以删除其记忆信息第二个是任务生命周期当任务生命周期结束即完成任务后相关物体记忆标记可清楚第三个方法我觉得是最好的即重要性加权记忆通俗来说就是先给每个记忆物体赋予一个相同权重随着时间的推移常用的物体权重会随着使用次数逐渐加强无用物体或少用物体将会随着时间推移权重慢慢降低当权重降低到一定阈值后会被判定为可删除记忆这样智能体会把它们清除出记忆系统对于数据集问题目前比较通用的方法是混合多场景训练、采用大规模复杂场景训练集、开放世界仿真