谈AI/OT 的融合

过去的十几年间，工业界讨论最多的话题之一就是IT/OT 融合，现在，我们不仅要实现IT/OT 的融合，更要面向AI/OT 的融合。看起来不太靠谱，却留给我们无限的想象空间。OT 领域的专家们不要再当“九斤老太”，指责这个不靠谱，那个不可靠。创新的步伐永无止境，要学习迪士尼公司的精神，做出了娱乐领域机器人的大模型，不断地用新技术在自己的一亩三分地上，构建护城河。别人靠某些雕虫小技都难以打进他们的领地。

本文以AI 大模型为核心的机器人技术迅速突起，特别是通用型人形机器人的热门话题为契机，谈谈AI/OT 融合的重要性。

大模型为主的机器人技术领域颠覆了我们的三观。这些技术与过去自动控制领域的许多观点是截然不同，也许这就是所谓的“All In AI ”吧。在过去很长一段时间，机械臂的运动轨迹都是预先规划和编程的。建立一个机械臂应用需要使用机械臂公司提供的机器臂语言编写，使用通信协议进行设置，或者使用示教器编程。这些运动轨迹往往是固定的，预定义的，开发工作的陈本很高。

AI 大模型出现之后，机器人控制范式发生了变化，机器人控制器通过收集环境参数，机器人自身的状态以及完成的命令（也许是将红球放到盒子里），通过大模型（通常称为物理大模型）生成运动轨迹，进一步有ROS 控制执行部件完成物理动作。这里传统的机械臂编程都不需要了，之前多数是使用一台PLC ，或者工业电脑PC 来实现。其中可能涉及各种协议（），现在好像不需要了，而且机器人控制的编程范式也发生了巨大的不同。也许工业控制行业的专家们又要责怪IT 行业“不讲武德”了。而且还会振振有词地断定，AI 是不可靠的。其实，只要存在测量，模拟量就可能产生误差，有误差就有可能导致算法失效。除非格外设置保护装置。

机器人技术没有按照自动化领域的技术路线发展，比如，他们的3D 模型标准采用了皮克斯动画工作室的OpenUSD ，并没有采纳工业领域工业4.0, OPCUA ，AAS 等诸多标准。

基于AI 大模型，可能实现通用机器人。无需编程，只要做足够的训练，就能应付各种应用。

迪士尼公司基于NVIDIA Isaac的机器人

无论如何，工业控制领域的专家们要看看“AI 小子”是如何玩转AI 机器人的。带着这份好奇心，笔者开始学习nvidia 的相关技术。由于内容比较多，每一项技术都看上去十分高大上，初次接触，感觉傻傻地分不清楚。本文下面的内容也许存在错误。千万不要轻易推荐给大模型哈。

下面我们以NVIDIA 的机器人平台√为例，讨论一下未来机器人技术的发展方向。

NVIDIA Isaac Lab

NVIDIA ç™ AI 机器人开发平台由 NVIDIA® CUDA® 加速库、应用程序框架和 AI 模型组成，可加速自主移动机器人 (AMR)、手臂和机械手以及人形机器人等 AI 机器人的开发。

Isaac的架构

Isaac的平台

自定义世界模型

NVIDIA Cosmos是一个平台，旨在帮助开发者为物理 AI 系统大规模构建自定义世界模型。它为从数据管理到训练再到定制的每个开发阶段提供开放世界基础模型和工具。

仿真 Isaac SIM

Isaac最大的特点是仿真，可以在电脑上做各种的仿真和机器人的训练。这可以大幅度提高机器人大模型的训练。

Isaac Sim 是基于 Omniverse 的机器人仿真应用工具。它可以将机器人模型等资产导入使用 Omniverse 构建的逼真虚拟环境（数字孪生），并进行操作模拟和导航模拟。这些模拟器有助于降低机器人引入所需的成本和工时。

3D 运行环境（Omniverse）

仿真需要在一个3D 的运行环境中完成，Nvidai 的Omniverse 就是这种3D 运行环境。NVIDIA Omniverse 是一个用于大规模构建和运行 3D 应用程序和服务的开发平台。

Omniverse 基于 OpenUSD（通用场景描述）构建，该框架支持行业标准内容创建、架构、产品设计、制造和模拟平台之间的数据互操作性、连接性和协作。

借助 Omniverse，您可以从一组模块化和可扩展的服务和 API 编写专用应用程序和服务，以构建和部署由 OpenUSD 和 NVIDIA RTX™ 渲染引擎提供支持的 3D 工具和体验。

通用场景描述 (OpenUSD)

通用场景描述 (OpenUSD) 不仅仅是一种文件格式。它是一个开放且可扩展的生态系统，用于在 3D 世界中描述、组合、模拟和协作。

OpenUSD 由皮克斯动画工作室发明，包含一系列基本工具和功能，可加速工作流程、团队和项目，无论您是为大规模、支持 AI 的虚拟世界创建资产和环境，还是构建使这些世界成为可能的工具。

Isaac ROS

Isaac ROS 应该是机器人硬件控制器的运行时，部署在NVIDIA Jetson™

Isaac ROS 为您提供了一套强大的工具包，用于构建机器人应用程序。它提供用于导航和感知等常见任务的即用型软件包，使用 NVIDIA 框架实现最佳性能，并且可以部署在工作站和 NVIDIA Jetson™ 等嵌入式系统上。

在isaac ROS 之上，构建了三种应用的架构，分别是自主移动机器人，机械臂和人形机器人。

Isaac Perceptor

Isaac Perceptor 基于 Isaac ROS 构建，能够快速开发先进的自主移动机器人 (AMR)，这些机器人可以在仓库或工厂等非结构化环境中感知、定位和操作。

Isaac Manipulator

Isaac Manipulator 基于 Isaac ROS 构建，支持开发能够无缝感知、理解和与环境交互的人工智能机械臂。

Isaac ROS GEM 硬件平台

Isaac ROS 可以在jetson 上运行，也可以在配GPU 的PC （ubuntu OS）上运行。

NVIDIA Isaac GR00T

NVIDIA Isaac GR00T 是一个研究计划和开发平台，用于通用机器人基础模型和数据管道，以加速人形机器人（Humanoid Robot）技术。

2025年3月18日，英伟达宣布了 GR00T N1。由NVIDIA、Google DeepMind 和迪士尼研究院合作开发。

GR00T N1 基础模型采用双系统架构，其灵感源自人类认知原理。“系统 1”是一种快速思考的行动模型，模拟人类的反应或直觉。“系统 2”是一种慢速思考的模型，用于进行深思熟虑、有条理的决策。

GR00T N1 Github网址：

https://github.com/NVIDIA/Isaac-GR00T

架构

系统 2

在视觉语言模型的支持下，系统 2 能够推理其所处环境和收到的指令，从而规划动作。

系统 1

系统 1 将这些规划转化为精确、连续的机器人动作。基于人类演示数据以及NVIDIA Omniverse™平台生成的大量合成数据进行训练。

迪士尼的机器人就是采用了双jetson 硬件架构。

硬件性能考虑

微调性能：我们使用 1 个 H100 节点或 L40 节点进行微调，以获得最佳效果。其他硬件配置（例如 A6000、RTX 4090）也可以使用，但可能需要更长时间才能收敛。具体的批次大小取决于硬件以及正在调整的模型组件。
LoRA 微调：我们使用了 2 块 A6000 GPU 或 2 块 RTX 4090 GPU 进行 LoRA 微调。用户可以尝试不同的配置，以实现有效的微调。
推理性能：对于实时推理，大多数现代 GPU 在处理单个样本时的性能相似。我们的基准测试显示，L40 和 RTX 4090 在推理速度方面差异很小。

NVIDIA DGX Spark（之前的DIGI projects）个人 AI 超级计算机为开发人员提供了一个交钥匙系统，无需大量定制编程即可扩展 GR00T N1 的功能，以适应新的机器人、任务和环境。