欢迎来到啾啾的博客🐱。
记录学习点滴。分享工作思考和实用技巧，偶尔也分享一些杂谈💬。
有很多很多不足的地方，欢迎评论交流，感谢您的阅读和评论😄。
目录
- 引言
- 模型优劣认知与模型选择
- 大模型（LLMs）
- LLM评估维度
- 主流LLM深度对比与选型策略
- 闭源模型
- 开源模型
- Embedding模型
- Embedding模型评估维度
- Embedding模型选型
引言
在之前的LangChain快速筑基系列中，我们有了解到LangChain总的来说是对于大模型应用控制的各方面操作的抽象总结或封装，如LLM接口、提示管理、记忆、数据连接、链、代理、数据处理等），是统一处理框架。
不同模型（如GPT系列、Claude、Llama等）的特定、API参数含义和影响不同。
不同Embedding模型的优劣和使用场景也不相同。
我们应该如何选择呢？
模型优劣认知与模型选择
模型选型是一个多维度、与应用场景紧密耦合的系统工程。
选型模型的第一步，就是对模型的优劣有所认知。
大模型（LLMs）
LLM评估维度
大模型的优劣评估有以下几个维度：
| 维度 (Dimension) | 核心问题 | 关键考量点 |
|---|---|---|
| 1. 效果 (Performance/Quality) | 模型能把任务完成到什么程度？ | 准确性：回答的精准度、事实性。 推理能力：逻辑、数学、代码生成能力。 创造性：文案、故事、创意的质量。 遵循指令：能否精准理解并执行复杂的指令。 |
| 2. 成本 (Cost) | 使用这个模型的总拥有成本是多少？ | API调用成本：$/token，输入和输出价格可能不同。 计算/托管成本：对于开源模型，需要考虑GPU服务器的购买/租赁、运维人力成本。 开发成本：模型API的易用性、文档、社区支持。 |
| 3. 速度 (Latency/Speed) | 模型响应需要多长时间？ | 首字延迟 (Time to First Token)：对于流式输出，用户多久能看到第一个字？决定了“感觉快不快”。 总生成时间 (Total Generation Time)：生成完整答案需要多久？ |
| 4. 上下文窗口 (Context Window) | 模型一次能处理多少信息？ | 长度：4K, 8K, 32K, 128K, 甚至1M+。 长文本处理能力：窗口长不代表效果好，还需要看它在长文本中的信息提取和推理能力（“大海捞针”测试）。 |
| 5. 安全与隐私 (Security & Privacy) | 我的数据安全吗？模型可控吗？ | 数据策略：API提供商是否会用你的数据进行再训练？ 部署方式：云端API vs. 私有化部署/VPC部署。 可控性：能否对模型的输出进行内容审查和干预？ |
| 6. 生态与工具 (Ecosystem & Tools) | 模型是否易于集成和扩展？ | Function Calling/Tool Use：模型调用外部API和工具的能力是否强大、稳定。 多模态能力：是否支持图像、音频输入/输出。 社区支持：相关的开源项目、教程、解决方案多不多。 |
| 7. 定制化能力 (Customization) | 我能否让模型更适应我的特定业务？ | 微调 (Fine-tuning)：是否支持微调？微调的成本和难度如何？ 提示工程的敏感度：是否需要非常复杂的Prompt才能获得好效果？ |
核心思想：模型选型本质上是在这七个维度之间做权衡（Trade-off）。没有“最好”的模型，只有“最适合”你当前业务场景和资源限制的模型。
主流LLM深度对比与选型策略
闭源模型
这类模型的特点是：效果顶尖、开箱即用、按量付费、但数据隐私和成本是主要考量。
开源模型
这类模型的特点是：数据隐私和安全有绝对保障、可深度定制、长期成本可能更低，但技术门槛和运维成本高。
自己做全面测试评估在当前模型变更极快的当下不可行。建议参考以下网站。
-
综合能力与用户体感排行榜 https://lmarena.ai/leaderboard
![![[大模型如何选型？嵌入模型如何选型？-2.png]]](https://i-blog.csdnimg.cn/direct/1b78fd7238a34b2b8e1f285a34fa75b2.png)
-
开源模型技术基准排行榜 https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard#/
![![[大模型如何选型？嵌入模型如何选型？-1.png]]](https://i-blog.csdnimg.cn/direct/6a50cc0c03cb44788492b12944ef6309.png)
模型定价与性能综合对比工具
-
https://openrouter.ai/models
![![[大模型如何选型？嵌入模型如何选型？-3.png]]](https://i-blog.csdnimg.cn/direct/43cd7994ca594256b8afd531cf75ce01.png)
-
https://artificialanalysis.ai/
![![[大模型如何选型？嵌入模型如何选型？-4.png]]](https://i-blog.csdnimg.cn/direct/32a8511d85704d69aadae030ec5f856d.png)
Embedding模型
Embedding模型评估维度
Embedding模型是RAG（检索增强生成）应用的基石，它的好坏直接决定了你能否“找对”信息。
| 维度 (Dimension) | 关键考量点 |
|---|---|
| 1. 性能 (Performance) | 主要看它在 MTEB (Massive Text Embedding Benchmark) 排行榜上的得分。这是业界公认的黄金标准。 |
| 2. 维度 (Dimensions) | 向量维度越高，通常包含信息越多，但存储和计算成本也越高。 |
| 3. 上下文长度 (Context Length) | 能处理多长的文本片段。 |
| 4. 成本与速度 | 对于API模型，是$/token；对于开源模型，是推理速度和资源占用。 |
| 5.多语言能力 | 是否支持你的业务所需语言。 |
Embedding模型选型
MTEB网站（Embedding模型权威排行榜）：https://huggingface.co/spaces/mteb/leaderboard
![![[大模型如何选型？嵌入模型如何选型？.png]]](https://i-blog.csdnimg.cn/direct/7b5c629e95264da280aad5c86d48b51d.png)
