LLaMA-Factory 作为一款开源的大语言模型微调与推理框架，提供了 5 种核心推理方式，覆盖从本地调试到生产部署的全流程需求。以下是具体方式及示例：
1. 交互式命令行推理
适用场景：快速测试模型效果或进行简单对话。
示例命令：
# 使用原始模型推理
llamafactory-cli chat examples/inference/llama3.yaml
# 使用微调后的LoRA模型推理（需指定适配器路径）
llamafactory-cli chat examples/inference/llama3_lora_sft.yaml
操作流程：
- 直接输入文本（如
你是谁），模型实时生成回复。 - 支持多轮对话，历史记录自动保留。
2. Web可视化界面推理
适用场景：需要图形化交互或演示的场景。
启动命令：
# 启动Web聊天界面（支持多模态模型如LLaVA）
llamafactory-cli webchat examples/inference/llava1_5.yaml
功能亮点：
- 浏览器访问
http://localhost:7860即可使用。 - 支持图片输入（需多模态模型）和文本交互。
- 界面可自定义模板（如切换为
vicuna风格对话）。
3. 批量任务推理（vLLM引擎）
适用场景：处理大规模数据集或需要高性能推理的场景。
示例脚本：
# 使用vLLM引擎批量推理
python scripts/vllm_infer.py \
--model_name_or_path path_to_merged_model \
--dataset alpaca_en_demo \
--infer_backend vllm
性能优势：
- 相比Hugging Face引擎，vLLM可提升吞吐量3-5倍。
- 支持动态Batching和显存优化（如
flash_attn: true）。
4. API服务化推理
适用场景：将模型集成到其他应用（如网站、移动端）。
部署命令：
# 启动API服务（默认端口8000）
llamafactory-cli api examples/inference/llama3_lora_sft.yaml
调用示例（Python）：
from openai import OpenAI
client = OpenAI(api_key="0", base_url="http://localhost:8000/v1")
response = client.chat.completions.create(
model="llama3",
messages=[{"role": "user", "content": "用Python实现快速排序"}]
)
print(response.choices[0].message.content)
5. 量化推理优化
适用场景：显存不足或需要降低成本时。
配置示例（YAML）：
load_in_4bit: true # 启用4位量化
bnb_4bit_compute_dtype: "float16" # 计算精度
flash_attn: true # 加速注意力机制
use_cache: false # 禁用KV缓存节省显存
效果对比：
- 7B模型显存占用从24GB降至6GB。
- 推理速度下降约10-20%（可通过
use_cache: true缓解）。
附加功能：多模态推理
支持模型：如LLaVA（文本+图像联合推理）。
配置示例：
model_name_or_path: "llava-hf/llava-1.5-7b-hf"
template: "vicuna" # 需与模型匹配的提示模板
使用场景：
- 图像描述生成（输入图片路径，输出描述文本）。
- 视觉问答（如
图中有什么动物？）。
总结建议
- 调试优先：交互式命令行 → Web界面。
- 生产部署：API服务 → 批量推理（vLLM）。
- 资源受限：启用量化 + 关闭
use_cache。 - 多模态任务：选择专用模型（如LLaVA）并配置对应模板。
参考
https://llamafactory.readthedocs.io/zh-cn/latest/getting_started/inference.html
