Claude Code桌面控制实战:macOS开启Computer Use指南
Claude Code 的 computer use 功能是 2026 年 3 月正式上线的原生 macOS 桌面控制能力让 Claude 可以打开 App、点击、输入、截图直接在你的真实桌面上完成 GUI 任务。它以内置 MCP 服务器的形式集成到 Claude Code CLI 中通过/mcp命令启用无需 Docker 或虚拟机。需要 Claude Code v2.1.85 及以上版本、macOS 系统、以及 Pro 或 Max 订阅计划。Computer Use 能做什么Claude Code 一直以来的边界是终端和代码文件——它能写代码、跑命令、改文件但碰到需要 GUI 操作的环节就只能让你自己去手动点。computer use 打通了这个缺口。典型用途构建并验证原生 App让 Claude 写 Swift 代码、xcodebuild编译、启动 App、点击每个控件截图反馈异常状态——全程不用离开终端。端到端 UI 测试指向一个本地 Electron 应用说测试注册流程Claude 打开 App、点击注册、截图每一步无需写 Playwright 配置。复现视觉 Bug告诉 ClaudeModal 在小窗口下被截断Claude 自己缩小窗口、复现 Bug、截图然后检查 CSS 并验证修复结果。驱动无 API 的工具设计工具、iOS Simulator、硬件控制面板、企业内部无 CLI 的专有软件——只要能点Claude 就能操作。工具选择优先级Claude Code 会先用最精准的工具——有 MCP Server 的用 MCP是 Shell 命令的用 Bash是浏览器任务且装了 Claude in Chrome 就用 Chrome 扩展——以上都不适用时才启用 computer use 控制屏幕。如何启用Step 1确认前置条件claude--version# 需要 v2.1.85 或更高版本同时确认系统为macOS不支持 Linux 和 Windows已登录claude.ai 的 Pro 或 Max 账户不支持 Bedrock / Vertex AI / Foundry 等第三方 provider当前在交互式会话中-p非交互模式不可用Step 2在 /mcp 菜单中启用在 Claude Code 交互式会话中运行/mcp找到列表中的computer-use服务器选择Enable。此设置按项目持久化每个项目只需设置一次。Step 3授权 macOS 权限首次使用时 macOS 会弹出权限申请需要授权两项权限用途辅助功能Accessibility允许 Claude 点击、输入、滚动屏幕录制Screen Recording允许 Claude 看到屏幕内容按提示在系统设置中开启再选择Try again。授权屏幕录制后可能需要重启 Claude Code。Step 4使用示例启用后直接在对话中描述任务编译 MenuBarStats target启动 App打开偏好设置窗口 验证时间间隔滑块能正常更新标签。完成后截图偏好设置窗口。Claude 会运行xcodebuild、启动 App、交互 UI 并报告结果。Claude 如何操控你的屏幕逐 App 会话审批启用computer-use服务器并不代表 Claude 可以访问你机器上的所有 App。每次会话首次需要访问某个 App 时终端会弹出提示显示Claude 想要控制哪些 App是否请求了剪贴板等额外权限操作期间哪些 App 会被隐藏选择Allow for this session或Deny。审批仅对当前会话有效。对以下高权限 App系统会额外显示警告提示警告标签适用 App等同 Shell 访问权限Terminal、iTerm、VS Code、Warp 等终端/IDE可读写任意文件Finder可修改系统设置系统设置操作期间其他 App 会被隐藏Claude 开始控制屏幕时其他可见 App 会被自动隐藏确保 Claude 只与已审批的 App 交互。终端窗口始终保持可见且不会出现在截图中避免屏幕上的提示词注入反馈回模型。Claude 完成当次任务后隐藏的 App 自动恢复。随时按 Esc 终止Claude 获取屏幕控制权时macOS 通知栏会提示“Claude is using your computer · press Esc to stop”。任何时候按Esc或终端内按CtrlC都可立即中止Claude 释放控制权并恢复所有隐藏 App。全局互斥锁computer use 持有机器级别的互斥锁——同一时间只有一个 Claude Code 会话可以控制屏幕。如果另一个会话正在使用新的尝试会报错提示当前持锁会话。不同类型 App 的控制权限级别Claude 对不同类别 App 的控制程度不同App 类别控制级别浏览器、交易平台仅查看view-only终端、IDE仅点击click-only其他应用完整控制截图 点击 输入安全边界说明重要与 Claude Code 的沙箱 Bash 工具不同computer use 运行在你的真实桌面上访问的是你实际批准的 App。Anthropic 官方安全建议使用低权限账户运行敏感任务避免意外改动系统文件每次只审批必要的 App不要无差别放行全部权限请求注意提示词注入风险屏幕上的文字内容可能被 Claude 读取并影响行为内置的注入检测会在发现可疑内容时暂停并请求确认终端窗口不会被截图这是系统保证Claude 永远看不到自己的输出CLI 版与 Desktop 版的差异computer use 在 CLI 和 Desktop App 中共享同一底层引擎部分管理功能仅 Desktop 版目前支持功能Desktop AppCLI启用方式Settings Desktop app General 开关/mcp菜单启用computer-use黑名单 App 配置可在 Settings 中配置暂不支持自动恢复隐藏 App可选关闭始终开启Dispatch 集成Dispatch 会话可使用不适用常见问题Qcomputer use 为什么不支持 Bedrock / Vertex / Foundrycomputer use 依赖 claude.ai 账户的 Pro/Max 订阅权益第三方 provider 路由的 API 调用不含此权益。如果你的 Claude Code 配置走的是第三方 provider需要单独创建一个 claude.ai 账户来使用此功能。Qcomputer use 和在 Claude Code 里手写 Playwright 测试有什么区别Playwright 需要专门的测试配置只适用于 Web 应用。computer use 可以驱动任何 GUI 应用原生 App、模拟器、设计工具且不需要编写测试脚本直接用自然语言描述任务即可。QEsc 终止后 App 会恢复吗会。按Esc或CtrlC后Claude 立即释放屏幕控制权所有被隐藏的 App 自动恢复到原始状态不会留下残留影响。Q同一台机器能同时运行多个 Claude Code 会话用 computer use 吗不行。computer use 持有机器级别互斥锁同一时间只能有一个会话控制屏幕。新的会话尝试会收到错误提示需要等前一个会话结束后才能启动。Qv2.1.85 之前的版本能用吗不行。/mcp列表中只有满足 v2.1.85、macOS、Pro/Max 计划三个条件时才会出现computer-use选项。运行claude --version检查当前版本。结语Claude Code 上线 computer use标志着 AI 编程助手完成了从代码层到界面层的打通。原来写完代码还要手动启动 App 验证的环节现在可以一并交给 Claude。目前仅限 macOS 的 Pro/Max 用户功能仍在持续迭代中。据 Anthropic 官方文档computer use 是 Claude Code v2.1.85 起随 CLI 内置的 MCP 服务器无需额外安装。如需在国内环境下通过兼容 Anthropic 接口的服务调用 Claude API 用于开发可参考七牛云的 Claude Code 配置指南但需注意 computer use 本身不支持第三方 provider 路由。本文基于 Claude Code 官方文档2026 年 3 月版本建议结合官方最新文档同步更新。延伸资源Claude Code computer use 官方文档Computer use 安全使用指南Claude Code Desktop 版 computer use
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2472083.html
如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!