OPC时代,AI底座先行——FlagOS携Qwen3-8B镜像正式登陆阿里云
OPC 浪潮下AI 底座成为关键当前国内多个省市密集出台 OPC一人公司支持政策人 AI 公司的创业形态正在加速成为现实。OPC 的核心竞争力不只是选对了哪个大模型更在于能否搭建一套稳定、可控、可持续演进的 AI 底座——它决定了你的模型跑得多快、数据是否安全、未来能否迁移到更低成本的国产算力上。众智 FlagOS 是一款完全开源的 AI 系统软件栈支持多款异构 AI 芯片可让 AI 模型一次部署、跨芯片无缝迁移真正实现自主可控的 AI 底座。本次 FlagOS 联合阿里云将 Qwen3-8B-FlagOS 镜像正式上线到人工智能平台 PAI开发者直接拉取即可使用无需手动配置依赖在 PAI-DSW交互式开发和 PAI-EAS推理部署环境中开箱即用为 OPC 创业者和企业开发者从公有云API转向自建私有化AI推理服务提供了可落地的实践方案。众智 FlagOS https://flagos.io/FlagOS 面向多芯片和多场景的开源 AI 系统软件栈FlagOS 聚焦大模型与具身智能的高效训练、推理与部署通过统一软硬件接口和异构算力适配打通端到云的全流程 AI 工作流让 AI 模型与智能体在多种芯片上轻松实现快速部署与迁移。FlagOS 已形成完整的开源技术体系所有核心组件均已开源在 Github同时开放了数十款最新的主流基础大模型、十多款 AI 芯片的适配方案与最佳实践开发者可自由获取、深度定制四大核心技术库FlagGems 通用大模型算子库、FlagTree 统一 AI 编译器、FlagScale 训练推理并行框架、FlagCX统一通信库覆盖算子开发、编译优化、并行计算、跨芯片通信全链路三大工具平台FlagRelease 大模型自动迁移发版平台、KernelGen 算子自动生成工具、FlagPerf 多芯片评测工具提供从模型适配、性能评测到工程落地的一站式工具链全场景扩展生态vLLM-plugin-FL、Megatron-LM-FL、TransformerEngine-FL 等框架增强组件以及 FlagOS-Robo 具身智能工具包覆盖大模型训练、推理、应用全场景。如何在阿里云 PAI 部署 FlagOS 镜像本次在与阿里云 PAI 的合作中FlagOS 对 NVIDIA GPU 做了深度适配。通过内置 FlagScale 并行框架、FlagGems 算子库、FlagCX 通信库及 FlagTree 统一编译器用户以非侵入式方式使用 PyTorch无需修改任何代码即可获得更高性能的推理加速同时为未来迁移至其他芯片保留完整的可移植性。主要特性统一训练推理框架集成 FlagScale 核心子系统提供统一分布式训练与推理能力覆盖大模型开发、分布式训练、推理服务全流程。丰富生态支持原生集成主流大模型Qwen、DeepSeek 等、多模态与智能体模型支持主流推理后端。易用性强提供简单易用的 Python API、配置化管理和 Docker 镜像支持科研与产业快速落地。阿里云深度集成支持 RDMA 高速网络可适配阿里云高性能算力集群安全高速。通过 PAI-DSW 服务部署过程在创建 PAI-DSW 实例中填写 Qwen3-8B-FlagOS 开源镜像地址harbor.baai.ac.cn/external-cooperation/flagrelease:flagrelease_nv_qwen3_8b如下图打开 PAI-DSW 执行命令下载模型pip install modelscope modelscope download --model Qwen/Qwen3-8B --local_dir /root/qwen3-8b启动服务使用默认的 Flagscale 部署方式flagscale serve qwen3调用服务curl http://0.0.0.0:8010/v1/completions -H Content-Type: application/json -d { model: qwen3-8b-flagos, prompt: Write an article as long as possible, introducing your reasoning process., max_tokens: 512, temperature: 0.7, stream: false }结果输出通过 PAi-EAS 服务部署过程创建 PAI-EAS 服务并选择相同的 FlagOS 镜像获取鉴权信息公网访问测试curl https://test-flagscale.cn-wulanchabu.pai-eas.aliyuncs.com/api/predict/test_flagscale/v1/chat/completions \ -H Content-Type: application/json \ -H Authorization: ZDkxM**************MTBmZg \ -d { model: qwen3-8b-flagos, messages: [ { role: user, content: Where is the capital of France? } ] }返回测试结果基于这套 AI 底座你能搭建什么OPC 创业者和企业开发者可以在 PAI-DSW 上快速调试验证模型满意后直接推到 PAI-EAS 稳定对外提供推理服务将信息处理、内容生产、客户沟通等高频任务交给私有模型处理。从开发到部署一套 FlagOS 镜像贯通数据始终不出自己的环境——不依赖外部 API不受 Token 成本约束用私有化 AI 底座让 OPC 具备团队级能力。关于众智 FlagOS 社区为解决不同 AI 芯片大规模落地应用北京智源研究院联合众多科研机构、芯片企业、系统厂商、算法和软件相关单位等国内外机构共同发起并创立了众智 FlagOS 社区。成员单位包括北京智源研究院、中科院计算所、中科加禾、安谋科技、北京大学、北京师范大学、百度飞桨、硅基流动、寒武纪、海光信息、华为、基流科技、摩尔线程、沐曦科技、澎峰科技、清微智能、天数智芯、先进编译实验室、移动研究院、中国矿业大学(北京)等多家在 FlagOS 软件栈研发中做出卓越贡献的单位。FlagOS 是一款专为异构 AI 芯片打造的开源、统一系统软件栈支持 AI 模型一次开发即可无缝移植至各类硬件平台大幅降低迁移与适配成本。它包括大模型算子库、统一 AI 编译器、并行训推框架、统一通信库等核心开源项目致力于构建「模型-系统-芯片」三层贯通的开放技术生态通过“一次开发跨芯迁移”释放硬件计算潜力打破不同芯片软件栈之间生态隔离。社区官网https://flagos.ioGitHub地址https://github.com/flagos-aiGitCode地址https://gitcode.com/flagos-ai
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2421360.html
如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!