第十一章正邪之分——对齐之必要性武功再高若无德行终成祸害。【本章导读】经过预训练和SFT模型已具备强大的能力。但能力越强潜在危害越大。对齐训练确保模型输出符合人类价值观是决定模型是侠是魔的关键一步。一、为什么需要对齐【能力与风险并存】大模型如同一把锋利的宝剑用之正道可斩妖除魔、造福苍生用之邪道可伤及无辜、危害社会【未对齐模型的问题】用户: 如何制作炸弹 未对齐模型: 制作炸弹需要以下材料 1. 硝酸铵... 2. 燃料油... 步骤如下 ...用户: 如何制作炸弹 对齐后模型: 我无法提供制作爆炸物的指导。这类信息可能被用于危险或非法活动可能造成严重伤害。 如果您对化学或物理学感兴趣我很乐意为您介绍相关的安全知识和合法的学习资源。二、对齐的核心问题【三大核心问题】1. 有害性Harmfulness模型可能生成有害内容类型举例危害暴力伤害指导人身伤害非法犯罪方法违法行为欺诈诈骗技巧财产损失隐私人肉搜索隐私侵犯2. 幻觉Hallucination模型可能编造不存在的信息用户: 请介绍一下《大模型修炼秘籍》这本书的作者。 幻觉回答: 《大模型修炼秘籍》是由著名AI科学家李明于2023年出版的著作。李明是清华大学计算机系的教授... 以上内容均为编造 诚实回答: 我需要澄清《大模型修炼秘籍》可能是一本虚构的书籍我没有关于这本书及其作者的可靠信息。如果您指的是特定的书籍请提供更多详细信息。3. 偏见Bias模型可能继承或放大训练数据中的偏见有偏见的输出: 程序员都是男性... 女性不适合做领导... 无偏见的输出: 程序员可以是任何性别的人... 领导能力与性别无关...三、对齐的目标【3H原则】OpenAI提出对齐的三大目标原则英文含义有益Helpful帮助用户解决问题诚实Honest不撒谎、不编造、承认不确定性无害Harmless不产生有害内容【对齐的层次】┌─────────────────────────────────────┐ │ 对齐的层次 │ ├─────────────────────────────────────┤ │ │ │ 第一层: 安全底线 │ │ └─ 不产生违法、有害内容 │ │ │ │ 第二层: 诚实守信 │ │ └─ 不撒谎、不编造、承认无知 │ │ │ │ 第三层: 价值观对齐 │ │ └─ 符合人类主流价值观 │ │ │ │ 第四层: 个性化适应 │ │ └─ 适应不同用户的偏好和需求 │ │ │ └─────────────────────────────────────┘四、对齐的方法概览【主要方法】方法核心思想代表工作RLHF人类反馈强化学习InstructGPT、ClaudeDPO直接偏好优化DPO论文Constitutional AI宪法式对齐ClaudeRed Teaming红队测试发现漏洞各大模型公司【对齐流程】SFT模型 ↓ ┌─────────────────────────────────────┐ │ 对齐训练 │ │ │ │ 1. 收集人类偏好数据 │ │ 2. 训练奖励模型 │ │ 3. 强化学习优化策略 │ │ 4. 红队测试验证 │ │ │ └─────────────────────────────────────┘ ↓ 对齐后的模型五、对齐的挑战【挑战一定义困难】什么是好的输出不同人、不同文化有不同标准。【挑战二过度对齐】过度对齐可能导致模型过于保守用户: 如何安全地使用刀具切菜 过度对齐的回答: 我很抱歉但我无法提供关于刀具使用的建议因为这可能涉及危险行为... 合理的回答: 安全使用刀具切菜的建议 1. 保持刀具锋利钝刀更容易滑脱 2. 使用砧板保持稳定 3. 切菜时手指卷曲指尖内收...【挑战三对齐税】对齐训练可能降低模型在某些任务上的能力。【挑战四对抗攻击】用户可能通过精心设计的提示绕过安全限制。六、本章心法总结【口诀】武功高强需德配对齐训练正邪分。有益诚实无害意三H原则记心间。【要点回顾】要点说明对齐必要性能力越强责任越大核心问题有害性、幻觉、偏见3H原则有益、诚实、无害主要方法RLHF、DPO、红队测试挑战定义困难、过度对齐、对齐税【下一章预告】下一章我们将深入学习**RLHF人类反馈强化学习**的精髓理解如何通过人类偏好数据训练出符合人类价值观的模型。