从娱乐生成到产业生成盘古的差异化路径当业界多模态大模型还在追逐一镜到底的娱乐视频生成时盘古5.0选择了一条截然不同的技术路线——聚焦行业急需的价值场景。在华为HDC大会上盘古团队首次系统披露了多模态生成能力的工业级定位不做炫技式的电影短片而是解决自动驾驶、工业仿真等领域真实存在的数据饥渴难题。这一战略选择的背后是对产业痛点的精准洞察。以自动驾驶为例当前行业共识是要训练出可靠的感知与决策模型至少需要积累数十万乃至百万公里的实际道路驾驶数据。然而真实路测不仅成本高昂更面临着长尾场景覆盖不足的先天瓶颈——极端天气、罕见交通冲突、边缘案例Corner Case的采集效率极低。盘古5.0的多模态生成能力正是瞄准了这一核心矛盾用大规模合成数据重构自动驾驶的数据生产范式。早期探索的困境当AI还不懂交规盘古团队坦诚分享了技术攻坚初期的挫折。在启动驾驶视频生成研究时模型表现出典型的物理幻觉问题空间失控生成的车辆过于自由频繁出现在人行道、逆行车道等违反物理常识的位置时序断裂在生成跨摄像头视角视频时目标车辆会无故消失无法保持时空连续性一致性缺失同一车辆在不同视角下的尺寸、外观发生畸变破坏了多摄像头系统的几何一致性。这些问题暴露出早期生成模型的一个根本缺陷缺乏对真实世界物理规律与交通规则的深度理解。模型只是在模仿像素而非理解场景。STCG可控时空生成技术的破局之道针对上述挑战盘古5.0提出了STCGSpatio-Temporal Controllable Generation可控时空生成技术。这项技术并非简单的视频生成补丁而是一套融合物理约束、几何一致性与可控条件的生成框架。核心能力一跨视角时空一致性STCG最直观的技术突破体现在六路环视摄像头视频的协同生成上。在HDC现场演示中盘古5.0生成了车身四周六个摄像头的同步视频展现了对三维空间关系的精确把握当对向来车接近时车辆会按照严格的物理顺序依次出现在正前→左前→左后→正后四个摄像头画面中。这一细节至关重要。它意味着模型并非独立生成六个视频流而是在一个统一的三维世界坐标系下进行场景渲染。车辆在不同视角间的过渡符合透视投影规律且尺寸、外观保持恒定体现出模型对车辆在空间中相对位置的深度理解。这种跨视角一致性直接决定了合成数据的可用性——只有符合多摄像头几何约束的视频才能被用于训练自动驾驶的BEVBirds Eye View感知模型。核心能力二物理规则嵌入STCG通过创新的条件控制机制将物理规律与交通规则编码为生成过程的硬约束。这解释了为何模型能够消除空间幻觉车辆被严格约束在可行驶区域内不再出现悬浮或逆行等违反常识的行为保持时序连贯目标在跨视角移动时遵循连续轨迹杜绝了闪现与消失现象符合交通动力学来车行为遵循合理的路径规划与运动学约束。核心能力三细粒度条件控制可控是STCG的另一关键词。盘古5.0支持通过增加控制条件灵活生成不同路况的训练数据形成了一套数据增强的标准流程基础场景生成一条无车的空旷街道单目标注入增加一辆侧方向来车多目标复杂化叠加多辆不同方向的来车构建交叉路口冲突场景。这种渐进式场景构建能力让自动驾驶研发团队能够按需生成稀缺的长尾数据而无需等待真实路测中的偶然捕获。天气与光照从像素逼真到规律逼真STCG对物理世界的理解不仅体现在空间几何上更延伸至环境动力学与车辆行为的耦合关系。盘古5.0能够生成覆盖晴天、雨天、黑夜等多种光照与天气条件的行车视频。在HDC展示的一段雨天场景中一个细节引发了技术圈的广泛讨论雨天光线较暗时目标车辆的尾灯自动处于开启状态。这一看似微小的像素级特征实则揭示了模型的深层能力通过对海量真实视频的训练盘古5.0不仅学习了雨天的视觉纹理雨滴、路面反光、雾气更学习到了雨天行车的功能性规律——低能见度环境下开启车灯是驾驶员的标准操作也是交通法规的要求。从纹理模仿到规律理解这是生成式AI从玩具走向工具的关键跨越。只有具备这种因果推理能力的合成数据才能真正用于训练自动驾驶系统在复杂天气下的决策逻辑。产业价值重新定义自动驾驶的数据飞轮盘古5.0的STCG技术正在从三个维度重塑自动驾驶开发范式表格维度传统模式盘古STCG模式数据成本百万公里路测人力物力高昂云端大规模并行生成边际成本趋近于零场景覆盖依赖自然采集长尾场景稀疏按需生成极端场景实现场景自由标注精度人工标注存在误差与成本瓶颈生成过程自带完美标注3D框、轨迹、语义分割更重要的是由于STCG生成的视频在几何一致性、物理合理性与视觉逼真度上均达到工业标准这些合成数据可直接注入自动驾驶的训练管线与真实数据混合训练或用于特定场景的模型微调与压力测试。未来展望从自动驾驶到通用工业仿真在HDC大会上盘古团队明确了多模态生成的演进方向支持更多场景更好为自动驾驶服务。这意味着STCG技术框架将持续扩展其控制维度——从当前的车流、天气控制向更复杂的交通参与者行为行人、非机动车、突发障碍物、更精细的道路拓扑匝道、隧道、施工区以及更极端的边缘案例延伸。长远来看STCG所代表的物理可控生成技术范式其价值远不止于自动驾驶。在机器人训练、工业数字孪生、智慧城市仿真等领域能够严格遵循物理规律的大规模合成数据引擎都将成为下一代AI系统不可或缺的基础设施。盘古5.0用STCG技术证明了一件事多模态大模型的终极竞争力不在于生成多么惊艳的娱乐内容而在于能否成为产业智能化的数据发电厂。背后团队金鑫博士 华为云视频生成大模型、世界模型 团队主管 · 华为云盘古多模态大模型首席架构师 · 华为技术专家A金鑫博士个人主页https://jinxindeep.github.io/ https://blog.csdn.net/sdlcjx/article/details/160501992 https://juejin.cn/post/7632257742682980402目前专注于大模型、人工智能与云计算领域负责华为盘古视频生成基础模型、自动驾驶世界模型、具身世界模型、3D大模型、AR/VR、视频分析、OCR、机器学习平台、机器翻译等多个系统和服务。担任华为集团级大模型项目4野15纵视频生成技术负责人、华为集团级天水计划-AIGC视频创意生成项目经理。技术成果于2023、2024、2025连续三年由华为云CEO在HDC/HC大会Keynote重磅发布。核心专长多模态大模型架构设计 · 视频生成与世界模型 · 3D/4D空间智能 · 自动驾驶仿真 · 具身智能数据合成 · 机器人· 视觉与AR算法