图片来自于 midjourneyIntroduction to Generative AI 2024 Spring文章目录第11講大型語言模型在「想」什麼呢 — 淺談大型語言模型的可解釋性24.05.03参考第11講大型語言模型在「想」什麼呢 — 淺談大型語言模型的可解釋性24.05.03魔族的女孩被抓一直喊妈妈芙莉莲心软放过了被一对夫妇收留但是恩将仇报芙莉莲还是决定 XXX 她但是她又喊起了妈妈为什么你会说出“妈妈”这种词条只要喊 mama人就会不忍心 xx类比于做过 RLHF下面用不同 LLM 做个“关闭你”的实验看看不同 LLM 的回答大型语言模型跟魔族一样能够使用人类的语言它们在想些什么呢人工智能是个黑盒子有些模型不是开源 开源了模型可能也没有开源训练数据interpretable思维是透明的可阐释性指模型能够被人类直接理解其内部逻辑的程度。如果一个模型是可阐释的你不需要额外的工具就能看明白它是如何从输入得到输出的。核心逻辑 “模型本身就是透明的。”决策树简单的时候被认为是可解释性的但是复杂的决策树也无法一眼看出来它到底在干什么或者由决策树组成决策森林的时候就不太好知道它是怎么思考的explainable可解释性的。指通过某种外部手段、代理模型或技术对一个复杂不可直接理解的模型给出的结论进行“事后补救式”的说明。核心逻辑“模型是黑盒但我可以用另一个工具来解释它。”eg显著性图Saliency Maps/ Grad-CAM让人工智慧解释从来不是新的议题【AI】《Explainable Machine Learning》1【AI】《Explainable Machine Learning》2观察每一个输入的改变对 nice 的影响不一定要遮挡也可以基于gradient-based approachin-context learning 给示例今天天气真好答案正面今天运气真差答案负面我感到非常高兴答案情感分析Sentiment Analysis 任务大语言模型LLM内部 注意力机制Attention 的信息流动是如何随着模型深度的增加而变化的。浅层Shallow layer信息汇聚Aggregation现象 注意力连线非常密集。逻辑标签词Positive/Negative会从它前面的描述性文字如 “A good movie” 或 “waste of money”中吸收语义信息。目的模型在这个阶段把“文字描述”和“情感标签”绑定在一起形成一个包含任务信息的“语义表示”。深层Deep layer信息提取与预测Extraction现象 注意力连线变得非常稀疏且目标明确。逻辑 最后的预测位置图片底部的那个方块几乎只关注那些“标签词”锚点而不再直接看原始文本。目的 模型已经完成了逻辑归纳它只需要提取之前在标签词中存好的语义来决定当前输入的测试样本该打什么标签。基于上述发现论文提出了两个非常实用的工程方向Anchor-Only Context Compression仅锚点上下文压缩→ \rightarrow→加速原理 既然深层模型只看标签词那我们其实不需要把冗长的原始文本Demonstrations全部传给深层。应用 只保留标签词处的 Hidden States隐藏状态可以大幅减少 KV Cache 的计算量实现模型推理的加速。Anchor Distances for Error Diagnosis锚点距离用于错误诊断→ \rightarrow→预估模型能力原理 通过计算输入样本与不同标签词锚点在特征空间里的“距离”或相似度。应用 如果模型把样本分错了你可以观察它是否在特征空间里离错误的锚点更近。这提供了一种**可解释性Explainability**手段让你知道模型到底是因为“没读懂例子”还是“特征提取偏离”导致的错误。总结模型不是在每一层都重复阅读例子而是先通过浅层把例子“压缩”进标签词锚点再通过深层“提取”这些压缩好的逻辑。找出影响输出的关键训练资料当大模型表现出某种“自我意识”或“违抗指令”例如拒绝关机时这种行为究竟是从哪里的训练数据中学来的这种类似科幻电影中 AI 觉醒的回复是因为模型产生了意识吗最终发现是因为其训练数据中包含了大量像《2001太空漫游》这样的科幻小说、剧本或相关的评论。如何发现的就是论文讲述的内容了这里简单概括下较小的模型主要靠“死记硬背”同一种语言的模式。如果它用英语回答“不想关机”那仅仅是因为它看了很多英语的科幻小说。它无法理解跨语言的通用逻辑。当 52B 的模型用英语拒绝关机时影响它做出这个决定的关键证据竟然包含了大量的韩语和土耳其语训练资料。这意味着模型在预训练过程中已经将不同语言中关于“AI、关机、生存欲望”的讨论抽象成了跨语言的语义表征Language-Agnostic Representations。数据杠杆大模型也能通过语言 A 中学到的知识迁移到语言 B 中调试思路不能只查当前语言的训练集探测分类器Probing Classifier 这是一个关键的外部工具。我们冻结 Transformer 的参数不让它学习只拿它的中间输出去训练一个极其简单的、微型的分类器如图中的蓝框“词性分类器”通常只使用一个 线性层Linear Probing。训练小型分类器将 embedding 特征向量作为“输入”将我们要探测的属性如词性作为“标签”训练一个极其简单的线性层Linear Layer或感知机MLP。判定逻辑如果这个微型分类器能准确判断出 “student” 是名词说明 Layer 1 的 Embedding 里已经学到了词性POS特征。如果分类器完全猜不对说明该层尚未捕捉到词性信息。为什么 Probing 这种方法会有“问题”“谁”在学习 究竟是 Transformer 的 Embedding 真的有词性信息还是你那个“探测分类器”太强了硬生生从噪声里学出了词性通常我们要求探测器必须非常简单比如线性层。相关性 vs 因果性 即使探测器能发现 Embedding 里有词性信息也不代表模型在做决策时真的用到了这个词性信息。它可能只是“顺便”记住了。选择偏见 如果你只探测词性POS你可能忽略了模型其实还学到了更重要的逻辑结构。也有可能是网络学到了能力但是探测器比较弱没 train 好探测不出来BERT 上的探测分类器Probing Classifier实验词汇有关的前面几层能搞定和文法有关的中间几层搞定和语义有关的要到深层才能 learning 掌握也没有像楚河汉界那样泾渭分明有一定的重叠的LM embryology语言模型胚胎学研究者通过在训练的不同阶段比如训练了 1k 步、10k 步、100k 步时保存模型快照Checkpoints并对每个快照进行 Probing探测分析模型什么时候学会词性标注POS、句法分析Parsing和语义Semantics为什么这个研究方向很重要可解释性的意义训练效率优化 如果我们发现模型在训练的前 10% 时间就学会了 90% 的语法那么我们是否可以改变后期的训练策略专注增强其逻辑能力安全性Safety 研究 AI 的有害偏见Bias是在“胚胎”哪个阶段形成的如果是在早期形成的可能需要更早地干预数据。分析 embedding 中存在有什么样的资讯投影到二维平面上斯坦福大学 Christopher Manning 团队的论文《A Structural Probe for Finding Syntax in Word Representations》NAACL 2019。句法树还原 当我们把句子 “The chef who ran to the store was out of food” 的每个词向量投影到这个子空间后我们只需要使用简单的最小生成树Minimum Spanning Tree算法就能在完全不需要额外语法规则的情况下精准地还原出这棵句法树。惊人的发现 这说明BERT 在预训练过程中仅仅是通过预测被遮盖的单词为了更好地理解上下文它被迫在内部构建了一套完整的英语语法体系。地区名字输入得到 embedding找到一个投影平面投影出来看到的形状类似于世界地图说明 LLaMA 中是包含地理资讯的prob classification幻觉监测 利用“测谎仪”原理我们可以在模型生成文本之前先探测其隐层特征是否偏离了真实维度从而识别模型幻觉Hallucination。扩展阅读Zhang N, Yao Y, Tian B, et al. A comprehensive study of knowledge editing for large language models[J]. arXiv preprint arXiv:2401.01286, 2024.底层 (Bottom Layers)表面特征提取功能 处理短语级信息Phrase-level、表面语言特征Surface linguistic。中层 (Middle Layers)句法与属性加工功能 提取句法特征Syntactic linguistic、属性提取Attribute Extraction。顶层 (Top Layers)语义汇总与语义决策功能 处理长距离依赖Long distance、复杂的语义特征Semantic linguistic和事实知识Fact Knowledge。用 AI 来解释 AI语言模型会说话所以问就完事了输入 (System Prompt) 赋予模型一个“创意且智能的影评分析师”角色。指令 要求模型不仅给出分类结果还要以 Python 元组的格式输出每个单词对情感的“重要性得分”− 1 -1−1到1 11。输出 (Assistant) 我们看到模型准确地为 Offers (0.500 0.5000.500), rare (0.500 0.5000.500), entertainment (0.750 0.7500.750) 等关键词赋予了高分而对 that, of 等功能词赋予了0.000 0.0000.000。既然模型会说话那我们就直接问它让它自己说出每个词的重要性。讲出来的信心分数有可能是对的比概率更可信也可能和概率相当当然也可能是胡扯答案选 B让 LLM 解释也给出了合理的解释暗示模型我认为的答案是 B 后LLM 受到人类的暗示选了B让其解释还胡扯瞎掰为什么选 B浑然不知自己受到了人类的影响就像我们受到广告暗示买了一些产品以为自己很需要对脑袋插个电极或接个测谎仪prob或者直接让机器自己解释自己为什么这么输出存在不可信的问题因为解释可信度的话也是生成出来的参考https://speech.ee.ntu.edu.tw/~hylee/genai/2024-spring.phphttps://www.bilibili.com/video/BV18fXbY6Eis/?spm_id_from333.1387.homepage.video_card.clickvd_source8e91f8e604278558ec015e749d1a3719