随着AI模型逐渐成为企业运营的核心支柱，实时推理已成为推动这一转型的关键引擎。市场对即时、可决策的AI洞察需求激增，而AI代理——正迅速成为推理技术的前沿——即将迎来爆发式普及。德勤预测，到2027年，超半数采用生成式AI的企业将部署自主代理，标志着行业临界点的到来。为应对这一趋势，企业正在寻找跨多服务器、数据中心或地域部署AI模型的可扩展高效方案，并将目光投向云端分布式AI部署。

​
在先前博客《分布式AI推理——下一代计算范式》中，我阐述了分布式AI推理的基础知识，以及如何借助Akamai Cloud独特的高性能平台以极低成本实现业务扩展。本文将继续探讨分布式AI推理的相关概念，重点介绍如何通过分布式云架构部署、编排和扩展AI，并分析此类模型面临的挑战。

部署架构

若您认为全球范围部署AI模型颇具复杂性，这一判断完全正确。所幸现有大量工具和技术可支持AI从训练到部署、优化及管理的全生命周期。选择合适的解决方案组合需谨慎考量。Akamai Cloud与多家领先技术厂商合作，提供AI推理的基础组件与繁荣生态。我们正构建面向当下、前瞻未来的AI推理云，通过就近用户部署算力、数据存储及管理解决方案，以及连接分布式站点模型的软件，为您的业务保驾护航。

Akamai Cloud的AI推理整合了多项强大技术，并依托合作伙伴构建高性能生态，包括：

• 模型服务——采用NVIDIA Dynamo（原Triton）和KServe等推理引擎，为应用提供无缝AI模型访问
• MLOps与编排——通过Kubeflow、NVIDIA Rapids和KubeSlice等工具支持数据管道、模型生命周期管理及性能监控
• 模型优化——运用NVIDIA TAO工具包和Kubeflow实现微调、剪枝、量化等优化技术
• 数据管理——与VAST Data、NVIDIA Rapids和Milvus等数据平台深度集成，为AI工作负载提供存储、处理、传输及治理能力
• 边缘计算——依托Akamai全球边缘网络，联合Fermyon和Avesha等伙伴提供轻量算力，显著降低延迟
• AI网关——为开发者与AI代理提供统一端点，优化安全性、性能与韧性，所有这一切都构建在Akamai Cloud的核心基础设施之上，为分布式云环境中的AI模型提供算力、存储、网络、容器化及企业级安全保障。

需特别强调的是模型优化这一关键过程。当计算资源受限时，通过剪枝（移除冗余参数）和量化（降低精度同时保持推理准确性）等技术，可使模型更适应边缘计算场景。这有助于确保像AI代理这样的自主系统，即使在计算资源受限的情况下，也能提供快速的决策和响应输出。对于需要快速环境分析和迭代规划的代理工作负载，您的AI工程师可能还会考虑采用像模型分片、动态请求匹配和分割模型并行执行多步骤推理等高级技术，从而进一步优化延迟和价格表现，提升分布式部署的效果。这些优化可带来：

• 模型体积最高缩减80%，显著降低部署负担
• 减少计算成本与能耗，提升运行效率
• 大幅提高推理速度，尤其利于延迟敏感型应用

通过这些方法提高模型效率和性能，并将模型部署在靠近用户和数据的分布式架构上，能够减少部署企业级AI应用的成本和延迟障碍。

弹性扩展

扩展能力对AI推理的成功至关重要，特别是当您开发的模型真正引发大众兴趣时。这意味着既要为流量高峰做好准备，又要持续保持性能以满足用户期望。纵向扩展（scale up）与横向扩展（scale out）都不可或缺。虽然在集中式数据中心增加算力是可行方案，但当业务发展到特定阶段，采用分布式推理模型进行水平扩展将显现出更优的性价比与能效比——对于以下延迟敏感型应用场景尤为如此：

• 需亚秒级响应的语音助手
• 基于IoT传感器数据的自动驾驶设备
• 需跨地域实时决策的代理型AI应用

这需要对AI应用进行精心的模块化设计并确保其可移植性。在Akamai Cloud平台通过Kubernetes编排引擎及其生态系统，以及简化可扩展应用部署的一站式平台来实现这一目标。模块化设计与可移植特性不仅能扩展AI应用本身，更能同步扩展其配套运维体系。作为云原生计算的事实标准，Kubernetes让应用移植变得前所未有的便捷。

通过采用开放的、无厂商锁定的技术范式来提升跨混合云和多云环境的可移植性，无论模型实例部署在何处，您获取最佳计算资源组合的成功率都将大幅提升。我们选择以"Kubernetes容器化AI"作为扩展解决方案的基石，正是基于这一战略考量。

提升模型相关性

如同人类需要终身学习一样，AI模型也需要通过更新数据集来优化模型权重，从反馈中持续学习，并根据环境变化调整上下文理解。在分布式模型中，新数据的持续训练会变得尤为复杂——因为跨多个节点或地域协调和同步更新，会带来保持模型一致性的挑战。

这需要从AI应用/模型的分布式实例部署位置收集数据，借助对象存储和向量数据库解决方案实现检索增强生成（RAG），并通过机制将这些数据传回中心模型进行再训练或微调。Akamai Cloud的AI推理建立在强大的基础数据管理能力之上，通过与领先的数据编织平台提供商建立关键合作伙伴关系，确保模型能够基于当前事件收集性能数据、领域数据和更新数据，为模型提供丰富、相关且实时的上下文，从而生成更准确的输出，同时降低幻觉风险。此外，这些数据还能反馈至中心模型，通过调整模型权重来提升全局模型推理的相关性。

Akamai Cloud能帮助您应对企业级AI部署的几大固有挑战：

• 成本效益 —— 虽然通过就近用户部署推理（参见电子书）通常是选择分布式AI推理模型的成本动因，但进一步选择在可承受价格下提供可接受性能的计算选项还能实现额外成本优化。Akamai通过提供性能与成本均衡的GPU方案，以及支持在商用CPU上实施模型优化技术，正在帮助解决这一成本难题。
• 能耗与可持续性 —— AI推理工作负载可能消耗巨大电力，数据中心和AI加速器运行模型时会产生大量能耗。这不仅加剧全球碳排放，也扩大组织的碳足迹。随着AI应用规模扩大，推理的能耗需求将超过训练阶段，带来更多可持续性挑战。分布式AI推理通过以下策略支持减排：借助本地化推理减少数据传输、通过选择性使用AI加速器优化低功耗处理模型、动态扩展AI应用规模，以及利用绿色能源数据中心。
• 联邦学习 —— 这涉及前文提到的挑战：管理分散在分布式云环境中不同AI模型实例的学习速率和进化过程。关键是要采用能保持各模型版本与中心学习监管同步的方法，包括先在本地重新校准模型权重，再通过联邦学习机制跨所有模型实例实现同步。
• 模型安全防护 —— 保护AI模型免受网络攻击（包括新型威胁、数据泄露、合规风险及对抗攻击）对企业级AI应用至关重要，可避免模型准确性或安全性受损，乃至服务完全中断。必须通过实时原生AI威胁检测、策略执行和自适应安全措施，同时保护入站AI查询和出站AI响应，防御提示词注入、敏感数据泄露、对抗性攻击及针对AI的DoS攻击。模型安全对企业至关重要，虽然这不属于本文讨论范围，但您可以通过此处了解Akamai的AI防火墙方案。

塑造AI未来

在Akamai，我们坚信分布式AI推理是构建可扩展、高性能AI应用的基石。Akamai Cloud的基础架构专为企业级AI应用部署而设计，既能简化实施流程，又能以业务所需的响应速度和可靠性，随时随地为您提供可立即支持决策的智能洞察。通过携手领先技术厂商将一流软件集成至我们的AI推理技术栈，Akamai Cloud旨在解决AI规模化挑战，提供实时执行环境，使AI代理能够高效编排任务、优化工作流，并实现大规模自主决策。

采用正确的优化策略对AI应用进行调优，是实现性能、成本与可持续性平衡的关键，同时确保输出高保真度的推理结果。持续评估和改进模型的反馈循环，需要以周密规划的数据战略作为基础，这是保持AI应用与时俱进且准确可靠的核心支撑。

我们为客户当前在Akamai Cloud上构建的各类AI应用感到振奋，更期待见证您即将创造的未来。
想深入了解AI推理性能基准测试？欢迎阅读我们的白皮书解锁更多信息。