告别UCF101格式用MMAction2和自定义Annotation文件快速训练你的短视频动作分类器当你想用MMAction2训练自己的动作识别模型时最头疼的往往不是模型调参而是数据准备。大多数教程都假设你的数据集已经整理成UCF101的标准格式——视频按类别存放在子文件夹中再配上几个txt标注文件。但现实中我们的数据往往来自各种渠道监控摄像头、社交媒体爬取、用户上传...这些视频可能散落在不同目录文件名毫无规律甚至格式五花八门。难道为了训练模型我们非得把所有视频都重新整理成UCF101的目录结构吗好消息是完全不必MMAction2其实支持更灵活的标注方式——RawframeDataset 自定义Annotation文件。今天我们就来彻底摆脱UCF101的束缚教你用最简单的Python脚本将任何野生视频数据集快速转化为MMAction2可训练的格式。1. 为什么需要放弃UCF101格式传统UCF101格式要求视频存放结构必须严格遵循数据集根目录/ ├── videos/ │ ├── 类别A/ │ │ ├── video1.mp4 │ │ └── video2.mp4 │ └── 类别B/ │ ├── video3.mp4 │ └── video4.mp4 └── txt/ ├── classInd.txt ├── trainlist.txt └── testlist.txt这种结构在实际项目中面临三大痛点视频重组成本高需要手动创建大量子目录并按类别移动文件标注维护困难当视频路径变化时所有txt文件都需要同步更新无法处理复杂标注对于需要帧级标注如动作起止时间的场景束手无策而使用自定义Annotation文件你的视频可以存放在任意路径甚至不同磁盘使用任意命名规则携带丰富的元数据如时间戳、多人标注、置信度等2. 自定义Annotation文件的核心设计MMAction2支持多种标注格式最推荐的是JSON Lines格式每行一个JSON对象。一个典型的标注文件如下{frame_dir: user_upload/video001, total_frames: 150, label: 12, original_video: /data/videos/2023-07-15/001.mp4} {frame_dir: security/camera3/20230716_080000, total_frames: 300, label: 5, timestamp: 2023-07-16T08:00:00}关键字段说明字段必选说明frame_dir是视频帧存放路径相对data_roottotal_frames是视频总帧数label是动作类别ID从0开始original_video否原始视频路径方便溯源其他自定义字段否可添加任意业务相关数据提示如果使用视频直接训练不提取帧需要改用VideoDataset并将frame_dir替换为filename字段。3. 从混乱数据到标准标注的自动化转换假设你有一批社交媒体爬取的短视频存放结构杂乱无章/downloads/ ├── user123_跳舞_20230712.mp4 ├── clip_9823742.mov └── ...3.1 创建Python转换脚本新建convert_to_mmaction.py核心代码如下import json import os from pathlib import Path def scan_videos(video_root): 扫描视频目录返回视频路径列表 return list(Path(video_root).rglob(*.[mM][pP]4)) \ list(Path(video_root).rglob(*.[mM][oO][vV])) def create_annotation(videos, label_mapping, output_json): 生成MMAction2标注文件 with open(output_json, w) as f: for idx, video in enumerate(videos): # 示例从文件名提取标签实际项目可能需要更复杂的逻辑 label_name extract_label_from_filename(video.name) label_id label_mapping[label_name] # 生成帧目录名确保唯一性 frame_dir fframes/{video.stem}_{idx} # 写入JSON行 json.dump({ frame_dir: frame_dir, total_frames: get_video_frame_count(video), # 需要实际获取 label: label_id, original_video: str(video) }, f) f.write(\n) # 示例标签映射 LABEL_MAP { 跳舞: 0, 跑步: 1, 烹饪: 2 } if __name__ __main__: videos scan_videos(/path/to/downloads) create_annotation(videos, LABEL_MAP, mmaction_annotations.json)3.2 关键函数实现建议extract_label_from_filename根据业务规则从文件名提取标签def extract_label_from_filename(filename): # 示例匹配跳舞等中文标签 for label in [跳舞, 跑步, 烹饪]: if label in filename: return label return 其他 # 默认类别get_video_frame_count用OpenCV获取视频总帧数import cv2 def get_video_frame_count(video_path): cap cv2.VideoCapture(str(video_path)) frames int(cap.get(cv2.CAP_PROP_FRAME_COUNT)) cap.release() return frames4. 配置MMAction2训练流程4.1 数据集配置修改config文件中的数据集部分dataset_type RawframeDataset ann_file_train data/annotations/train.json ann_file_val data/annotations/val.json data_root data/rawframes/ # 帧图像根目录 data_root_val data/rawframes/ train_pipeline [ dict(typeSampleFrames, clip_len8, frame_interval2, num_clips1), dict(typeRawFrameDecode), dict(typeResize, scale(-1, 256)), dict(typeRandomResizedCrop, area_range(0.5, 1.0)), dict(typeFlip, flip_ratio0.5), dict(typeFormatShape, input_formatNCHW), dict(typePackActionInputs) ]4.2 自动化帧提取添加预处理脚本自动从原始视频提取帧#!/bin/bash # extract_frames.sh input_jsondata/annotations/train.json output_rootdata/rawframes python - END import cv2, json, os from pathlib import Path with open($input_json) as f: for line in f: data json.loads(line) video_path Path(data[original_video]) frame_dir Path($output_root) / data[frame_dir] frame_dir.mkdir(parentsTrue, exist_okTrue) cap cv2.VideoCapture(str(video_path)) for frame_idx in range(data[total_frames]): ret, frame cap.read() if not ret: break cv2.imwrite(str(frame_dir / fimg_{frame_idx:05d}.jpg), frame) cap.release() END5. 处理特殊场景的进阶技巧5.1 长视频的动作片段标注对于包含多个动作的长视频标注格式可以扩展为{ frame_dir: long_videos/clip_001, total_frames: 1200, segments: [ {start_frame: 100, end_frame: 250, label: 3}, {start_frame: 400, end_frame: 550, label: 1} ] }对应的pipeline需要调整采样策略dict( typeSampleFrames, clip_len32, frame_interval2, num_clips4, temporal_jitterTrue, test_modeFalse )5.2 多模态数据融合当同时有视频和惯性传感器数据时{ frame_dir: workout/001, total_frames: 300, label: 8, imu_data: sensors/001.csv, sync_offset: 0.2 # 视频与传感器数据的时间偏移 }在自定义Dataset类中实现多模态加载class MultiModalDataset(RawframeDataset): def __init__(self, imu_root, **kwargs): super().__init__(**kwargs) self.imu_root imu_root def load_data_list(self): data_list super().load_data_list() for item in data_list: item[imu_path] os.path.join( self.imu_root, f{os.path.basename(item[frame_dir])}.csv ) return data_list6. 性能优化实战建议并行化帧提取from concurrent.futures import ThreadPoolExecutor def process_video(args): video_path, frame_dir args # 提取帧的实现... with ThreadPoolExecutor(max_workers8) as executor: executor.map(process_video, video_paths)使用更高效的图像编码ffmpeg -i input.mp4 -qscale:v 2 -f image2 output_%05d.jpg缓存预处理结果DATASETS.register_module() class CachedDataset(RawframeDataset): def __init__(self, cache_path.cache, **kwargs): self.cache_path Path(cache_path) super().__init__(**kwargs) def prepare_data(self, idx): cache_file self.cache_path / f{idx}.pkl if cache_file.exists(): return pickle.load(cache_file.open(rb)) data super().prepare_data(idx) pickle.dump(data, cache_file.open(wb)) return data在实际项目中这种灵活的数据处理方式让我们处理监控视频的效率提升了3倍——不再需要移动原始视频文件标注团队可以直接在原始存储位置工作模型团队则通过共享的JSON标注文件获取最新数据。当视频路径变更时只需更新JSON文件中的路径完全不影响已有的帧提取结果。