【困惑度 计算和可视化】
困惑度(Perplexity)是语言模型评估中一个非常核心的指标,本质上是衡量模型对一段文本“有多不确定”。一、定义(从概率角度)给定一个序列 ( w_1, w_2, …, w_N ),语言模型会给出条件概率:P(w1,w2,...,wN)=∏i=1NP(wi∣w1,...,wi−1)P(w_1, w_2, ..., w_N) = \prod_{i=1}^{N} P(w_i \mid w_1, ..., w_{i-1})P(w
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2444766.html
如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!