终极Speech-to-Speech多设备优化指南Mac MPS、CUDA与CPU全平台适配方案【免费下载链接】speech-to-speechBuild local voice agents with open-source models项目地址: https://gitcode.com/gh_mirrors/sp/speech-to-speechSpeech-to-Speech是一个基于开源模型构建本地语音代理的强大项目支持从语音识别到文本生成再到语音合成的完整流程。本文将详细介绍如何在不同硬件平台Mac MPS、CUDA GPU和CPU上优化配置让你轻松部署高性能的语音交互系统。图1Speech-to-Speech项目logo展示了语音交互的核心功能 多设备架构概览Speech-to-Speech采用模块化设计主要包含四个核心组件语音活动检测(VAD)使用Silero VAD v5检测语音活动语音转文本(STT)支持Whisper、Parakeet TDT等多种模型语言模型(LM)兼容Hugging Face Hub上的各类文本生成模型文本转语音(TTS)提供MeloTTS、ChatTTS等多种合成选项这种架构允许每个组件独立选择运行设备实现跨平台优化部署。 Mac MPS优化方案Apple SiliconApple Silicon用户可以利用Metal Performance Shaders(MPS)加速模型推理获得出色的性能与能效比。一键优化配置最简便的方法是使用项目提供的Mac优化参数python s2s_pipeline.py --local_mac_optimal_settings此命令会自动配置--device mps所有模型使用MPS加速STTParakeet TDTApple Silicon上的低延迟流式ASRLLMMLX LM高效Apple Silicon优化TTSMeloTTS默认或可选Kokoro-82M、Pocket TTS首次使用准备使用MeloTTS需要一次性下载UniDic词典uv run python -m unidic download自定义模型示例指定特定LLM模型python s2s_pipeline.py \ --local_mac_optimal_settings \ --lm_model_name mlx-community/Qwen3-4B-Instruct-2507-bf16多语言支持配置如需自动语言检测python s2s_pipeline.py \ --local_mac_optimal_settings \ --stt whisper-mlx \ --stt_model_name large-v3 \ --language auto \ --lm_model_name mlx-community/Qwen3-4B-Instruct-2507-bf16 CUDA GPU加速方案NVIDIA显卡对于拥有NVIDIA显卡的用户CUDA加速能显著提升模型运行速度特别是在处理大型语言模型时。推荐配置结合Torch Compile和Pocket TTS实现低延迟设置python s2s_pipeline.py \ --lm_model_name microsoft/Phi-3-mini-4k-instruct \ --stt_compile_mode reduce-overhead \ --tts pocket \ --recv_host 0.0.0.0 \ --send_host 0.0.0.0Docker部署推荐项目提供了便捷的Docker部署方案自动配置CUDA环境安装NVIDIA Container Toolkit启动容器docker compose up性能优化技巧使用--stt_compile_mode reduce-overhead启用Torch编译优化选择适合GPU内存的模型大小如Phi-3-mini适合8GB显存调整批处理大小平衡速度与内存使用️ CPU通用配置方案即使没有专用GPUSpeech-to-Speech也能在普通CPU上运行适合低资源环境或开发测试。基础启动命令python s2s_pipeline.py优化建议选择轻量级模型STTdistil-large-v3蒸馏版WhisperLLMmicrosoft/Phi-3-mini-4k-instruct小型高效模型TTSKokoro-82M轻量级高质量TTS降低模型精度python s2s_pipeline.py \ --stt_torch_dtype float16 \ --lm_torch_dtype float16调整线程数python s2s_pipeline.py --num_workers 4 跨平台通用设置安装项目git clone https://gitcode.com/gh_mirrors/sp/speech-to-speech cd speech-to-speech uv sync三种运行模式服务器/客户端模式模型运行在服务器音频通过TCP socket传输WebSocket模式通过WebSocket进行双向音频流传输本地模式所有处理在本地设备完成模块参数配置所有模块参数可通过命令行设置详细参数定义在arguments_classes/目录下主要包括--device指定运行设备mps/cuda/cpu--stt选择STT实现whisper/mlx/parakeet等--lm_model_name指定语言模型--tts选择TTS引擎melo/chat/pocket等 常见问题解决Mac MPS特定问题MPS输出通道错误更新macOS到26.3.1或更高版本模型加载缓慢确保使用mlx-lm格式模型CUDA相关问题显存不足减小模型大小或启用模型量化CUDA版本不匹配使用项目提供的Docker配置依赖冲突解决DeepFilterNet与Pocket TTS存在numpy版本冲突可修改pyproject.toml切换依赖如需DeepFilterNet移除pocket-tts添加deepfilternet0.5.6和numpy2如需Pocket TTS恢复默认配置通过本文指南你可以根据自己的硬件环境轻松配置出高性能的Speech-to-Speech语音交互系统。无论是在Mac、NVIDIA GPU还是普通CPU上都能获得最佳的运行体验【免费下载链接】speech-to-speechBuild local voice agents with open-source models项目地址: https://gitcode.com/gh_mirrors/sp/speech-to-speech创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考