文章目录二. OPERA论文复现1. 详细情况1.1. 部署推理出现的问题1.2 计算CHAIR指标二. OPERA论文复现在做好上述的准备工作之后我们的环境搭建、数据准备和传输已经完成。复现工作就可以正式开始了。在github下载OPERA官方代码文件按照官方提示搭建好相关的环境。1. 详细情况在README.md中官方说明有两种方式可以运行OPERA解码策略。一是将OPERA的代码集成到自己现有的代码中也就是缝合模块的方式二是用官方提供的脚本直接进行数据集批量推理。1.1. 部署推理出现的问题我们选择后者直接快速验证OPERA解码策略的有效性。OMP_NUM_THREADS8python chair_eval.py\--modelllava-1.5\--data_path/root/autodl-tmp/project/dataset/MSCOCO/val2014/\--gpu-id0\--beam5\--scale_factor50\--threshold15\--num_attn_candidates5\--penalty_weights1chair_eval.py代码会随机选取500张数据集中的图片代码中将种子固定为42方便复现进行图片回答的生成。当然脚本真正跑起来的过程并不是一帆风顺出现了一些问题如下hugging face连接问题这个问题比较好解决当时想用本地下载好的文件做替代却发现怎么也不成功于是在环境变量上做了点修改hugging face网络连接问题就被解决了。$exportHF_ENDPOINThttps://hf-mirror.com在脚本运行前设置好这个临时环境变量只在该终端生效如果运行后问题仍然没有得到解决可以参考下面这个博文来操作https://zhuanlan.zhihu.com/p/689290456里面教你如何修改项目源代码将下载源从https://huggingface.co 修改为镜像网站https://hf-mirror.com维度不匹配问题脚本运行报错如下Traceback(most recent call last): File/root/autodl-tmp/project/OPERA/OPERA-main/chair_eval.py, line173,inmoduleoutmodel.generate(File/root/miniconda3/envs/llava1.5/lib/python3.9/site-packages/torch/utils/_contextlib.py, line115,indecorate_contextreturnfunc(*args, **kwargs)File/root/autodl-tmp/project/OPERA/OPERA-main/minigpt4/models/llava.py, line212,ingenerate output_idsself.llama_model.generate(File/root/miniconda3/envs/llava1.5/lib/python3.9/site-packages/torch/utils/_contextlib.py, line115,indecorate_contextreturnfunc(*args, **kwargs)File/root/autodl-tmp/project/OPERA/OPERA-main/transformers-4.29.2/src/transformers/generation/utils.py, line1649,ingeneratereturnself.opera_beam_search(File/root/autodl-tmp/project/OPERA/OPERA-main/transformers-4.29.2/src/transformers/generation/utils.py, line3353,inopera_beam_search attn_previoustorch.cat(RuntimeError: Sizes of tensors must match exceptindimension2. Expected size657but got size694fortensor number1inthe list.报错信息已经很明显指出了最深层次的报错代码所在File “/root/autodl-tmp/project/OPERA/OPERA-main/transformers-4.29.2/src/transformers/generation/utils.py”, line 3353所以我们需要修改项目源码来修复这个问题这个报错在官方github库中的issue问题探讨中也被人提到过但是没有提供解决方案。在尝试了许多方法之后我得到了切实可行的方案问题分析在 OPERA 的 beam search 实现中attn_previous 试图拼接多个 beam 的注意力矩阵但它们的序列长度不一致。这通常由以下原因导致根本原因 LLaVA 1.5 使用动态分辨率或不同数量的图像 token导致不同样本的序列长度不同。当 beam search 跨样本处理时序列长度不匹配。问题定位错误发生在这一行attn_previoustorch.cat([attn_previous[beam_idx],outputs.attentions[-1].clone().max(1,keepdimTrue).values.data],-2)两个张量在 dim-2即 q 维度上拼接但它们的 kv 维度dim-1不匹配attn_previous[beam_idx] 的 kv 维度657outputs.attentions[-1] 的 kv 维度694根本原因 LLaVA 1.5 对不同图片会产生不同数量的图像 token因为使用了动态分辨率 AnyRes导致 past_key_values 中 KV cache 的长度在不同 beam 间不一致使得 attn_previous 在更新时 kv 维度对不上。修复方案在拼接之前对 kv 维度dim-1做对齐取较大的那个不足的用 0 填充ifnotpast_key_valuesinmodel_kwargs.keys():attn_previousoutputs.attentions[-1].clone()else:assertbeam_idxisnotNoneandattn_previousisnotNoneattn_previoustorch.cat([attn_previous,torch.zeros_like(attn_previous).sum(-1,keepdimTrue)],-1)aattn_previous[beam_idx]boutputs.attentions[-1].clone().max(1,keepdimTrue).values.data# 对齐 kv 维度dim-1diffa.size(-1)-b.size(-1)ifdiff0:btorch.nn.functional.pad(b,(0,diff))# b 补 0elifdiff0:atorch.nn.functional.pad(a,(0,-diff))# a 补 0attn_previoustorch.cat([a,b],dim-2)修改后脚本可以正常运行。1.2 计算CHAIR指标在OPERA官方代码仓库里明确写着使用的开源CHAIR指标计算代码库https://github.com/Maxlinn/CHAIR-metric-standalone下载后我们使用其自动计算CHAIR指标的脚本来计算LLAVA1.5 OPERA解码结合后生成的文本幻觉率。图像字幕Image Captioning任务中专门评估物体幻觉问题的CHAIR 指标的两个子维度分别是物体级幻觉率CsCHAIR-s和样本级幻觉率CiCHAIR-i物体级幻觉率 Cs分子∣{hallucinated objects}∣幻觉物体的总数量即生成的描述里提到的、但在对应图片的真实标注中不存在的物体的个数。分母∣{all mentioned objects}∣生成描述里提到的所有物体的总数量包含真实存在的物体和幻觉物体。含义衡量生成内容中幻觉物体占所有提到物体的比例是更精细的、针对物体本身的幻觉严重程度的评估数值越高说明生成内容里幻觉的物体占比越高。样本级幻觉率 Ci分子∣{captions w/ hallucinated objects}∣包含幻觉物体的描述总条数只要某一条生成的描述里存在至少 1 个幻觉物体这条描述就会被计入统计。分母∣{all captions}∣测试集中所有生成的描述的总条数。含义衡量整个测试集中存在幻觉的描述占所有描述的比例是宏观的、针对样本的幻觉覆盖度评估数值越高说明有越多比例的生成描述本身存在幻觉问题。运行脚本可能存在的问题Pattern库安装失败Pattern库维护比较差所以在下载时比较容易出现安装失败或者是版本不对的问题。常见报错如下Traceback(most recent call last): File/root/autodl-tmp/project/CHAIR-metric-standalone/chair.py, line18,inmodulefrom pattern.enimportsingularize ModuleNotFoundError: No module namedpattern.en解决方案卸载原版本用pip install pattern命令可能下载到其他一些假冒/无关的包如pattern0.0.1a0。所以需要卸载原下载的版本。pip uninstall pattern-y安装正确版本# 安装社区维护的 pattern3 分支pipinstallgithttps://github.com/clips/pattern.git可能出现的下一步报错Exception: Can notfindvalid pkg-config name. Specify MYSQLCLIENT_CFLAGS and MYSQLCLIENT_LDFLAGSenvvars manually[end of output]note: This error originates from a subprocess, and is likely not a problem with pip. ERROR: Failed to buildmysqlclientwhen getting requirements to build wheel问题根源安装官方Pattern库时它强制尝试编译依赖项mysqlclient用于数据库功能但你的系统里没有安装MySQL的开发库pkg-config找不到。安装需要的依赖aptupdateaptinstall-ylibmariadb-dev pkg-config重新运行安装命令# 安装社区维护的 pattern3 分支pipinstallgithttps://github.com/clips/pattern.git如何利用这个官方库计算CHAIR指标在其README.md中已经讲得很清楚了不多赘述。