原文towardsdatascience.com/the-origins-of-lifelong-ml-part-1-of-why-llml-is-the-next-game-changer-of-ai-8dacf9897143?sourcecollection_archive---------12-----------------------#2024-01-17通过 Q 学习和基于解释的神经网络理解终身机器学习的力量https://medium.com/almond.maj?sourcepost_page---byline--8dacf9897143--------------------------------https://towardsdatascience.com/?sourcepost_page---byline--8dacf9897143-------------------------------- Anand Majmudar·发表于 Towards Data Science ·阅读时间 10 分钟·2024 年 1 月 17 日–https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/07305a2b6bc6a0fd59db4598e74b716c.png太空中的 AI 机器人使用 GPT-4 生成机器学习接下来如何发展许多甚至可以说是大多数机器学习领域的伟大创新都受到了神经科学的启发。神经网络和基于注意力的模型的发明就是典型例子。同样机器学习的下一次革命将从大脑中汲取灵感终身机器学习。现代机器学习仍然缺乏像人类一样在学习新领域时使用过去信息的能力。例如一个学会了走路的强化学习代理在学习如何攀爬时仍然从零开始。然而代理可以使用持续学习它可以将走路中获得的知识应用于学习攀爬的过程就像人类一样。受到这一特性的启发终身机器学习LLML利用过去的知识来更高效地学习新任务。通过在机器学习中逼近持续学习我们可以极大地提高学习者的时间效率。为了理解 LLML 的强大功能我们可以从其起源开始逐步了解现代 LLML。在第一部分中我们探讨了 Q 学习和基于解释的神经网络。在第二部分中我们将深入研究高效的终身学习算法和 Voyager尽管我鼓励你先阅读第一部分再阅读第二部分但如果你愿意也可以直接跳到第二部分终身机器学习的起源Sebastian Thrun 和 Tom MitchellLLML 的奠基人开始他们的 LLML 之旅时研究了强化学习在机器人中的应用。如果读者曾经看到过一个可视化的强化学习者例如这个代理 学习玩宝可梦他们会意识到为了在合理的人类时间尺度内取得任何训练结果代理必须能够在训练期间迭代数百万次动作如果不是更多的话。然而机器人每个动作需要几秒钟才能完成。因此将典型的在线强化学习方法应用于机器人会显著降低最终机器人模型的效率和能力。是什么让人类在现实世界学习中如此出色而机器人中的机器学习目前却失败了呢Thrun 和 Mitchell 发现了现代机器学习能力中可能最大的空白它无法将过去的信息应用于新任务。为了解决这个问题他们创造了第一个基于解释的神经网络EBNN这也是 LLML 的首次应用要理解它是如何工作的我们首先需要了解典型的强化学习RL是如何运作的。在强化学习中我们的机器学习模型决定了代理的行动我们可以将其视为与我们选择的环境进行互动的“身体”。我们的代理存在于环境 W 中具有状态 Z当代理采取行动 A 时它会收到感知 S来自环境的反馈例如物体的位置或温度。我们的环境是一个映射 Z x A - Z对于每一个动作环境会以指定的方式发生变化。我们希望在模型 FS - A 中最大化奖励函数 RS - R换句话说我们希望选择能获得最佳结果的动作我们的模型将感知作为输入并输出一个动作。如果代理有多个任务需要学习每个任务都有其自己的奖励函数我们希望最大化每个函数。我们可以独立训练每个单独的任务。然而Thrun 和 Michael 意识到每个任务都发生在相同的环境中代理面临相同的可能动作和感知只是每个任务有不同的奖励函数。因此他们创建了 EBNN利用以前问题中的信息来解决当前任务LLML例如一个机器人可以利用它在杯子翻转任务中学到的知识来执行杯子移动任务因为它在杯子翻转中学会了如何抓住杯子。为了了解 EBNN 是如何工作的我们现在需要理解 Q 函数的概念。Q和 Q 学习*Q: S x A - r 是一个评估函数其中 r 表示在状态 S 下采取动作 A 后的预期未来总奖励。如果我们的模型学会了准确的 Q它可以简单地选择在任何给定时刻最大化 Q 的动作。现在我们的问题转化为学习一个准确的 Q我们称之为 Q*。其中一种方法被称为Q 学习一些人认为它是 OpenAI 的 Q*背后的灵感来源尽管命名可能完全是巧合。在 Q 学习中我们将我们的动作策略定义为函数π该函数为每个状态输出一个动作状态 X 的值定义为函数https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/0cff7e4188ddcc03fcc0927f638df227.png我们可以将其视为动作π(x)的即时奖励再加上所有可能未来动作的概率之和乘以它们的价值我们通过递归计算这些价值。我们希望找到最佳策略动作集π*使得https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/d7d1479a4315a93a7854a2bcf6b0ebbc.png在每个状态下策略选择最大化 V的动作。随着过程的重复Q 值将变得更加准确从而改善代理选择的动作。现在我们将 Q值定义为执行动作 a 的真实预期奖励https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/5c7586e24c26f91a82cfcb8885a0be5b.png在 Q 学习中我们将学习π的问题简化为学习π的 Q*值的问题。显然我们希望选择 Q 值最大的动作。我们将训练分为多个回合。在第 n 回合我们获得状态 x_n选择并执行动作 a_n观察到 y_n获得奖励 r_n并根据以下公式调整 Q 值https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/07de44e2c35e8317996dadccde25c9f7.png其中https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/f8fea711a426d35276fb3f20ae157a92.png实质上除了与前一个状态 x 和所选动作 a 对应的 Q 值外我们将所有先前的 Q 值保持不变。对于那个 Q 值我们通过将前一个回合的 Q 值乘以(1 - α)并加上我们的回报再加上当前状态 y 的前一个回合的最大值这两者都乘以α来更新它。记住这个算法的目标是近似每个可能状态下每个可能动作的准确 Q 值。所以当我们更新 Q 时我们更新与旧状态和该回合采取的动作对应的 Q 值因为我们α越小我们每个回合更新 Q 值的变化就越小1 - α会非常大。α越大我们就越不关心 Q 的旧值当α1 时它完全无关紧要而越关注我们所发现的新状态的预期值。让我们考虑两种情况以便直观地理解这个算法以及它如何在我们从状态 x 采取动作 a 到达状态 y 后更新 Q(x, a)我们从状态 x 通过动作 a 到达状态 y并处于一个“终点路径”此时无法再执行任何操作。那么Q(x, a)即这个动作和之前状态的期望值应该仅仅是该动作的即时奖励想想为什么。此外a 的奖励越高我们在下一个回合中选择它的可能性就越大。我们在前一个回合中该状态的最大 Q 值为 0因为无法执行任何操作因此我们只是将该动作的奖励添加到 Q 值中正如预期的那样现在我们正确的 Qs 从终点递归回溯让我们考虑导致状态 w 到状态 x 的动作 b假设现在我们已经过了 1 回合。现在当我们更新 Q(w, b) 时我们将把 b 的奖励添加到 Q*(x, a) 的值中因为如果我们之前选择了它它必须是最高的 Q 值。因此我们的 Q(w, b) 现在也是正确的想想为什么太好了现在你已经对 Q-learning 有了直观的理解我们可以回到最初的目标继续理解基于解释的神经网络EBNN我们可以看到通过简单的 Q-learning我们没有 LL 属性即先前的知识被用于学习新任务。Thrun 和 Mitchell 创立了解释性神经网络学习算法Explanation Based Neural Network Learning AlgorithmEBNN该算法将 LL 应用于 Q-learning我们将该算法分为 3 个步骤。(1) 在执行一系列操作后智能体预测接下来将发生的状态直到最终状态 s_n此时不再可能执行其他操作。这些预测将与实际观察到的状态不同因为我们的预测器目前不完美否则我们早就完成了。(2) 算法提取 Q 函数关于观察到的状态的偏导数。通过最初计算最终奖励关于最终状态 s_n 的偏导数顺便说一下我们假设智能体已经获得奖励函数 R(s)然后我们使用链式法则从最终状态向后计算斜率https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/dce1650913b1d11db44865d523f2ec7c.png其中 M: S x A - S 是我们的模型R 是我们的最终奖励。(3) 现在我们已经估算了 Q*s 的斜率并使用这些斜率在反向传播中更新我们的 Q 值对于那些不知道的人反向传播是神经网络学习的方法通过这种方法它们计算网络每个节点改变时最终输出如何变化使用这种同样的反向计算斜率方法然后调整这些节点的权重和偏置使得网络输出更接近期望无论这如何通过网络的成本函数定义成本函数与我们的奖励函数有着相同的作用我们可以将1视为解释步骤因此得名我们回顾过去的行动并尝试预测可能采取的行动。接着在2中我们对这些预测进行分析试图理解不同的行动如何影响我们的奖励变化。在3中我们将这种理解应用于学习如何通过改变我们的 Q 值来改进行动选择。该算法通过利用过去行为与过去行为估计之间的差异作为提升估计某一行动路径效率的动力从而提高我们的效率。你可能接下来的问题是EBNN 如何帮助一个任务的学习迁移到另一个任务当我们将 EBNN 应用于多个任务时我们将任务间共同的信息表示为神经网络NN行动模型这通过解释和分析过程为我们的学习提供了助力一个有效的偏向。它在学习新任务时使用先前学习的任务独立知识。我们的关键洞察是我们拥有可泛化的知识因为每个任务都共享相同的代理、环境、可能的行动和可能的状态。唯一依赖于每个任务的是我们的奖励函数因此通过从解释步骤开始使用特定于任务的奖励函数我们可以利用旧任务中发现的状态作为训练示例并简单地将奖励函数替换为当前任务的奖励函数从而加速学习过程LML 的创始人发现机器人抓杯任务的时间效率提高了 3 到 4 倍这仅仅是开始如果我们重复这个解释和分析过程我们可以替代一些朴素 Q 学习中需要通过现实世界探索代理环境的部分需求而且我们使用得越多它就变得越有效因为抽象地说它可以从更多的知识中获取信息增加这些知识与当前任务相关的可能性。自从 LLML 的创始人提出使用任务独立信息来学习新任务的思想以来LLML 不仅在机器人强化学习中取得了进展而且扩展到我们今天所知的更广泛的机器学习领域监督学习。Paul Ruvolo 和 Eric Eatons 的高效终身学习算法ELLA将使我们更接近理解 LLML 的强大力量请阅读第二部分通过 ELLA 检查 LLML和 Voyager了解它是如何工作的感谢阅读第一部分欢迎访问我的网站anandmaj.com那里有我的其他文章、项目和艺术作品并在Twitter上关注我。原始论文及其他来源Thrun 和 Mitchel: 终身机器人学习Watkins: Q 学习陈和刘《终身机器学习》启发我写这篇文章www.cs.uic.edu/~liub/lifelong-machine-learning-draft.pdf带有课程的无监督 LL:par.nsf.gov/servlets/purl/10310051深度 LL:towardsdatascience.com/deep-lifelong-learning-drawing-inspiration-from-the-human-brain-c4518a2f4fb9神经启发的 AI:www.cell.com/neuron/pdf/S0896-6273(17)30509-3.pdf具身 LL:lis.csail.mit.edu/embodied-lifelong-learning-for-decision-making/高效 LLA (ELLA):www.seas.upenn.edu/~eeaton/papers/Ruvolo2013ELLA.pdf情感分类中的 LL:arxiv.org/abs/1801.02808知识基础思想:arxiv.org/ftp/arxiv/papers/1206/1206.6417.pdfAGI LLLM LLMs:towardsdatascience.com/towards-agi-llms-and-foundational-models-roles-in-the-lifelong-learning-revolution-f8e56c17fa66DEPS:arxiv.org/pdf/2302.01560.pdfVoyager:arxiv.org/pdf/2305.16291.pdf元学习:machine-learning-made-simple.medium.com/meta-learning-why-its-a-big-deal-it-s-future-for-foundation-models-and-how-to-improve-it-c70b8be2931b元强化学习调查:arxiv.org/abs/2301.08028