1. 环境准备从零搭建TensorRT-LLM与Triton Server基础环境第一次接触TensorRT-LLM和Triton Server时我花了整整三天时间在环境配置上踩坑。现在回想起来大部分问题都源于对NVIDIA生态工具链的不熟悉。下面我会用最直白的语言带你避开我当年踩过的那些坑。1.1 显卡驱动与CUDA工具链千万别小看驱动安装这个简单步骤。去年我在某次升级驱动后突然发现模型推理速度下降了30%排查一周才发现是CUDA版本与驱动不匹配。这里有个黄金法则驱动版本 ≥ CUDA版本要求。具体来说# 查看当前驱动版本 nvidia-smi | grep Driver Version # 查看CUDA版本要求 cat /usr/local/cuda/version.txt对于TensorRT-LLM 0.12.0我推荐使用CUDA 12.4版本。安装时建议直接用官方提供的runfile方式虽然比apt-get麻烦但能避免依赖冲突wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_550.54.14_linux.run sudo sh cuda_12.4.0_550.54.14_linux.run安装完成后一定要验证设备节点是否正常ls -l /dev/nvidia* # 应该看到如下设备 # /dev/nvidia0 /dev/nvidiactl /dev/nvidia-uvm1.2 多卡环境必备Fabric Manager当使用A100/H100等多卡服务器时很多人会忽略Fabric Manager的安装。有次我们的8卡服务器突然出现GPU间通信延迟暴涨就是因为它没正确配置。安装其实很简单sudo apt-get install nvidia-fabricmanager-550 # 版本号需与驱动匹配 sudo systemctl start nvidia-fabricmanager验证是否生效有个小技巧nvidia-smi topo -m # 输出中应该显示NVLink连接状态为OK1.3 Docker环境配置这里有个血泪教训千万别用最新版Docker我曾被Docker 25.0的兼容性问题折磨得死去活来。推荐使用20.10版本sudo apt-get install docker-ce5:20.10.23~3-0~ubuntu-focalNVIDIA Container Toolkit是必须的组件但官方源经常抽风。这里分享一个国内镜像配置方法curl -fsSL https://mirrors.aliyun.com/nvidia-cuda/ubuntu2004/x86_64/7fa2af80.pub | sudo apt-key add - echo deb https://mirrors.aliyun.com/nvidia-cuda/ubuntu2004/x86_64/ / | sudo tee /etc/apt/sources.list.d/cuda.list配置完成后一定要测试GPU是否能在容器内识别docker run --rm --gpus all nvidia/cuda:12.4.0-base-ubuntu22.04 nvidia-smi2. TensorRT-LLM容器部署实战2.1 镜像选择玄学官方提供了几十种镜像变体经过实测发现nvcr.io/nvidia/tensorrt:24.08-py3这个镜像最稳定。它预装了CUDA 12.4cuDNN 8.9TensorRT 8.6Python 3.10启动容器时这几个参数是关键docker run -it --gpus all --ipchost \ -v /your/data:/data \ -p 8080:8080 \ --name trt_llm \ nvcr.io/nvidia/tensorrt:24.08-py3--ipchost参数特别重要没有它多进程通信会出各种诡异问题。2.2 模型编译的坑以LLaMA-70B为例编译时最容易遇到的是OOM错误。我的经验是先检查显卡架构是否匹配nvidia-smi -q | grep Architecture # A100对应sm_80, H100对应sm_90编译命令要加上内存优化参数trtllm-build --checkpoint_dir ./ckpts \ --output_dir ./engines \ --gemm_plugin auto \ --max_num_tokens 131072 \ --use_paged_context_fmha enable如果还是OOM试试这个土方法export TRTLLM_GRAPH_MAX_BATCH_SIZE4 export TRTLLM_GRAPH_MAX_TOKENS40962.3 轻量级API服务官方提供的openai_server.py其实可以直接用于生产环境nohup python3 openai_server.py \ --engine_dir ./engines \ --tokenizer ./tokenizer \ --port 8080 server.log 21 但要注意修改这两个参数提升性能# 在openai_server.py中找到这行修改 app FastAPI( docs_url/docs, redoc_urlNone, timeout600 # 默认60秒会超时 )3. Triton Server部署进阶技巧3.1 容器配置秘籍启动Triton容器时这几个参数是灵魂docker run -d --gpus all --shm-size2g \ --ulimit memlock-1 \ --ulimit stack67108864 \ -p 8000-8002:8000-8002 \ nvcr.io/nvidia/tritonserver:24.08-trtllm-python-py3--shm-size和memlock参数直接影响KV Cache性能实测设置后吞吐量能提升40%。3.2 模型仓库配置模型仓库结构应该是这样的model_repository/ ├── ensemble │ ├── 1 │ └── config.pbtxt ├── postprocessing │ ├── 1 │ └── config.pbtxt ├── preprocessing │ ├── 1 │ └── config.pbtxt └── tensorrt_llm ├── 1 │ └── model.engine └── config.pbtxt关键配置项解读# config.pbtxt中这些参数要调优 parameters { key: max_tokens_in_paged_kv_cache value: { string_value: 2097152 } }3.3 In-flight Batching实战在config.pbtxt中启用这个配置parameters { key: batching_strategy value: { string_value: inflight_fused_batching } }实测效果对比批处理方式吞吐量(req/s)平均延迟(ms)静态批处理12.5320动态批处理18.7210In-flight29.4954. 性能调优实战指南4.1 量化配置技巧FP16是基础但INT8量化才是王道。添加这个参数编译trtllm-build ... \ --use_smooth_quant \ --per_channel实测效果精度显存占用推理速度FP1698GB45tok/sINT852GB78tok/s4.2 KV Cache优化修改这两个参数有奇效parameters { key: enable_kv_cache_reuse value: { string_value: true } } parameters { key: max_attention_window_size value: { string_value: 4096 } }4.3 监控与日志推荐使用Triton自带的metrics接口curl localhost:8002/metrics重点关注这几个指标nv_inference_request_successnv_inference_exec_countnv_gpu_utilization最后分享一个排查性能问题的万能命令nsys profile -w true -t cuda,nvtx \ -o triton_report \ docker exec -it triton_container \ tritonserver --model-repository/models