使用统一服务和实时AI加速AI工厂中的令牌生产在当今的AI工厂环境中性能并非理论概念而是经济、竞争和生存的关键。可用GPU时间下降1%可能意味着每小时损失数百万令牌。几分钟的拥塞可能演变成数小时的恢复时间。机架级功率过载会导致功率闲置和每瓦特令牌产量下降悄无声息地大规模削弱工厂产出。随着AI工厂扩展到数千个运行各类关键任务工作负载的GPU不可预测的拥塞、功率限制、长尾延迟和有限可见性的成本呈指数级增长。运维团队和管理员需要的不仅仅是仪表板还需要灵活性和预见性。某机构推出了NVIDIA Mission Control作为基于NVIDIA参考架构构建的AI工厂集成软件栈通过统一控制平面实现了NVIDIA最佳实践的规范化。Mission Control 3.0版本进一步扩展引入了架构灵活性、多组织隔离、智能功耗编排和预测性AIOps用于检测运维中的异常并最大化令牌产量。图1. NVIDIA Mission Control提供了一个经过验证的软件栈包含用于运维敏捷性、监控和弹性的服务。释放速度的灵活软件NVIDIA Mission Control 3.0通过引入基于模块化服务的新型分层API驱动架构提供了全新的敏捷性改进了以往需要同步发布和跨硬件平台复杂验证的紧耦合栈。新的组件如自动化网络管理和域功率服务通过将更多模块化服务引入单一控制平面进一步扩展了Mission Control栈。通过将开放组件与模块化设计相结合该架构能够快速支持最新的NVIDIA硬件同时允许OEM系统提供商和独立软件供应商ISV将Mission Control功能直接集成到其自身生态系统中。这使企业在其软件栈中拥有更大的灵活性和选择权能够更轻松地定制解决方案以应对其独特的业务和技术挑战。多租户世界中的隔离许多组织面临的一个技术挑战是在集中式AI工厂内支持多组织隔离。随着AI工厂从研究和实验演变为生产级、任务关键型环境跨多个团队的共享基础设施需要强大的组织隔离和安全的 multi-tenancy。增强后的Mission Control控制平面将AI工厂管理栈转变为软件定义的虚拟化架构。Mission Control服务与物理管理节点解耦并使用某机构提供的自动化工具部署在基于虚拟机(KVM)的平台上。虽然计算机架和管理节点按组织专用但网络交换机是共享的需要额外的隔离来实现 multi-tenancy。NVIDIA Spectrum-X以太网的共享交换架构使用VXLAN进行逻辑分段NVIDIA Quantum InfiniBand则使用PKeys进行分段。图2. 使用NVIDIA Mission Control的多组织部署采用虚拟化技术并为每个需要网络隔离的组织提供专用的计算和控制平面。该架构减少了物理管理基础设施的占用空间建立了硬性的租户隔离并为多组织AI工厂奠定了安全基础。这反过来又降低了总体拥有成本因为运维人员可以灵活地将多个组织接入共享基础设施减少购买和运维多个集群的需求降低物理占用空间同时仍为每个组织提供强大的隔离和自助服务能力。功率无形的约束AI工厂令牌生产的另一个日益突出的问题是固定的功率上限这是由经济约束如固定公用事业成本和法规遵从性造成的。每一代GPU都能提供更高的性能但设施功率自然受到现有数据中心基础设施和可用电网的双重限制。挑战显而易见如何在不超出功率限制的情况下提高令牌输出和机架密度早期版本Mission Control的电源管理帮助组织负责任地管理复杂的功率问题但它是被动的先调度作业后执行功率策略。虽然这是在平衡功率与性能方面迈出的一大步但需要更动态的解决方案来大规模管理功率问题尤其是在混合Slurm和Kubernetes环境中。这正是Mission Control 3.0版本的进化之处。通过将域功率服务直接纳入Mission Control功率成为一等调度原语帮助组织根据其功率策略优化令牌生产。该功率管理服务支持在传统Slurm工作负载或由NVIDIA Run:ai编排的Kubernetes原生工作负载已集成并包含在Mission Control栈中上进行功率感知型工作负载放置。域功率服务还支持用于训练和推理的MAX-P和MAX-Q配置文件并利用Mission Control与设施楼宇管理系统的集成提供机架感知和拓扑感知的资源预留引导。图3. NVIDIA Mission Control使用域功率服务进行全面的功率管理持续监控和优化AI工厂的功率利用率。在一个某机构运行MAX-Q配置文件的实例中域功率服务使数据中心能够以85%的功率运行仅损失7%的吞吐量。这是通过动态利用Mission Control集成的功率配置文件实现的。这种集成使数据中心运维人员能够定义设施约束AI从业者可以根据其工作负载优先级自信地选择性能模式或效率模式。治理保持集中化而灵活性确保AI工厂可以针对每瓦特最佳性能和每美元最佳性能进行调整。从仪表板到实时决策除了提供动态功率管理的新服务外Mission Control 3.0还通过与NVIDIA AIOps采集器与平台栈(NACPS)集成增强了现有的异常检测能力实现了AI驱动的预测性异常检测。NACPS的核心是AI集群模型这是一个基于图的基础设施和工作负载表示可创建跨GPU、NVIDIA NVLink纵向扩展、NVIDIA Spectrum-X以太网或NVIDIA Quantum InfiniBand东西向横向扩展以及NVIDIA BlueField DPU南北向网络的拓扑感知视图。该视图与集群模型中的作业拓扑相结合。图4. NVIDIA AIOps采集器与平台栈(NACPS)作为NVIDIA Mission Control 3.0的一部分提供AI驱动的预测性异常检测。它从AI工厂代理收集数据并结合机器学习和关联分析向AI工厂发回预测性工作流和修复措施。NACPS结合了对指标的无监督在线机器学习、基于自然语言处理(NLP)的日志分析以检测未知问题、在标记事件上训练的有监督学习以及确定性的基于规则的护栏。遥测数据从GPU、交换机、主机、网卡(NIC)和调度器持续流入NACPS。事件和异常会在各层之间自动关联实现上下文驱动的根因分析同时减少告警噪音。该系统不再关注孤立的指标而是理解各组件之间的关系。当检测到异常时Mission Control可以触发自动化的修复工作流包括与NVIDIA Base Command Manager中的Slurm集成或针对Kubernetes工作负载的NVIDIA Run:ai协同工作的自动化硬件恢复。该系统不仅监控基础设施还能理解它并对其采取行动。运维人员不再需要追逐症状他们获得了预见性。另一种KPI利用率 vs. 令牌生产随着AI工厂运维的持续发展运维团队需要考虑一种不同的KPI。传统数据中心针对利用率进行了优化但AI工厂需要针对令牌生产进行优化。为了使AI工厂针对令牌生产进行优化企业需要考虑以下指标每GPU和每机架的令牌产量以及每瓦特和每兆瓦的令牌产量。每一个低效率都会直接降低总令牌输出。如果网络架构中的拥塞未被检测和缓解或者单个机架意外超出其功率限制或者计算节点在作业中途出现异常——AI工厂都会损失令牌生成和潜在收入。然而当AI工厂智能运行时它能够将每一兆瓦精确地转化为令牌从而最大化输出。开始使用Mission ControlMission Control 3.0旨在最大限度地减少低效率并提高AI工厂运维人员的令牌产量。通过跨领域关联遥测数据、智能编排功率、模块化架构以实现敏捷性以及利用AI增强自主修复它将基础设施从被动平台转变为性能优化的主动参与者。FINISHED更多精彩内容 请关注我的个人公众号 公众号办公AI智能小助手或者 我的个人博客 https://blog.qife122.com/对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号网络安全技术点滴分享