AI应用成本管理利器:tokencost库精准计算LLM API调用开销

news2026/5/10 8:12:47
1. 项目概述一个AI成本计算的“账房先生”如果你最近在折腾大语言模型LLM应用无论是自己写个智能客服还是搞个文档总结工具大概率会遇到一个灵魂拷问“这玩意儿跑一次到底花了多少钱”尤其是在调用OpenAI、Anthropic这些按Token计费的API时看着账单明细里一堆看不懂的数字心里总有点发虚。是提示词写得太啰嗦了还是返回的JSON太臃肿了有没有办法在开发阶段就精准预测和控制成本这就是我今天要聊的tokencost这个库要解决的核心问题。它不是什么复杂的AI框架而是一个极其专注的“账房先生”。简单来说tokencost能帮你精确计算每一次LLM API调用的Token消耗和对应成本支持市面上几乎所有主流模型。你可以把它集成到你的开发流程里在代码真正调用API、产生真金白银的费用之前就提前算好账。这对于需要精细控制预算、优化提示词效率、或者进行多模型成本对比的开发者来说简直是刚需。我自己在开发一个多轮对话代理系统时就深有体会。早期没做成本监控一个月下来账单惊人回头排查才发现某个分支对话逻辑写错了导致在循环里反复调用GPT-4生成无关内容白白烧了几百美金。如果当时就有tokencost这样的工具在本地做预计算和告警完全可以避免这种“事故”。所以这个项目虽然看起来“小”但切入的点非常精准和实用是AI应用工程化道路上不可或缺的一环。2. 核心功能与设计思路拆解tokencost的设计哲学非常清晰轻量、准确、易集成。它不试图成为一个全能的AI Orchestration框架而是专注于解决“成本计算”这一个具体问题并且解决得足够好。2.1 核心功能全景多模型支持这是它的立身之本。它不仅仅支持OpenAI的GPT系列GPT-3.5-Turbo, GPT-4, GPT-4o等还覆盖了Anthropic的Claude系列、Google的Gemini、Meta的Llama 2/3通过其API服务、Cohere、Mistral AI等几乎所有你能想到的主流付费和开源模型的API。它内置了一个不断更新的价格表关联了每个模型、每百万Token的输入Input和输出Output价格。精准的Token计数成本计算的基础是Token数。tokencost的核心能力之一是能按照不同模型对应的分词器Tokenizer来精确统计文本的Token数量。例如GPT系列用的tiktokenClaude用的自定义分词器Llama用的sentencepiece等。它帮你封装了这些细节你只需要关心文本内容。灵活的计算场景离线计算给你一段提示词Prompt和预期的回复直接算出本次交互的Token数和成本。适合做提示词工程优化和方案预评估。在线计算/监控可以作为一个装饰器Decorator或中间件Middleware集成到你的AI调用代码中在每次实际调用API的前后自动计算并记录成本甚至可以实现成本超限预警。成本分析与报告除了单次计算它还能汇总多次调用的成本帮你分析哪个环节、哪个模型是“烧钱”大户为优化提供数据支持。2.2 设计思路为什么是“计算”而非“代理”市面上有很多功能更庞大的AI应用框架如LangChain、LlamaIndex它们也提供了成本回调Callback功能。那为什么还需要一个独立的tokencost呢这其实涉及到一个重要的软件设计原则单一职责与关注点分离。LangChain这样的框架主要解决的是“如何构建和编排复杂的AI应用链”成本计算只是其众多功能中的一个可选组件。它的回调机制可能较重且与框架深度绑定。而tokencost只做一件事——算成本。这带来了几个显著优势零依赖轻量级你可以把它轻松引入任何项目无论你用的是LangChain、简单的requests库还是自研的框架都不会带来复杂的依赖冲突。更高的精度和灵活性因为它专注于成本所以可以在API调用之前就进行预测计算这是很多框架的“事后”回调做不到的。你可以基于预测结果决定是否继续调用或者切换更便宜的模型。易于定制和扩展当有新的模型API出现时你很容易根据其定价文档和分词方式扩展tokencost的模型列表和计算规则。注意tokencost的核心价值在于“预计算”和“标准化”。它把散落在各模型文档里的价格信息和复杂的分词逻辑统一成了一个简单易用的Python接口。这对于需要跨模型比较成本、或构建对成本敏感的商业应用来说是基础设施级别的工具。3. 快速上手与核心API详解理论说了这么多我们直接看代码。安装非常简单pip install tokencost3.1 基础使用算一笔账假设我们想评估一下用GPT-4 Turbo写一首关于Python的诗要花多少钱。import tokencost as tc # 1. 定义你的消息符合OpenAI API格式 messages [ {role: system, content: 你是一位诗人擅长用简洁的语言描述技术。}, {role: user, content: 请写一首四行诗赞美Python编程语言的优雅与强大。} ] # 2. 指定模型 model_name gpt-4-turbo # 3. 计算本次请求的预估成本 cost tc.calculate_cost_from_messages(messages, model_name) print(f模型: {model_name}) print(f输入Token数: {cost.input_tokens}) print(f预估输出Token数假设: {cost.output_tokens}) # 注意这里输出是假设的 print(f预估成本: ${cost.cost_usd:.6f})这段代码会输出类似这样的结果模型: gpt-4-turbo 输入Token数: 42 预估输出Token数假设: 100 预估成本: $0.000134关键点解析calculate_cost_from_messages是核心函数之一它接收OpenAI格式的messages列表和模型名。输出Token数是假设的这是成本预估的最大难点。因为在你实际调用API得到回复之前你无法知道模型会生成多长的内容。tokencost的默认行为是假设输出Token数为输入Token数的一半这是一个可配置的启发式规则。对于诗歌、摘要等任务这个假设可能偏差较大。更准确的做法是结合你应用的历史数据设定一个更合理的输出Token预估数。3.2 更精准的计算已知输入和输出如果你已经有一次完整的API请求和响应比如从日志中回放或者你在做提示词A/B测试有期望的回复样例那么可以精确计算。import tokencost as tc prompt_text 请将以下英文翻译成中文The quick brown fox jumps over the lazy dog. # 假设我们期望/得到的回复是 completion_text 敏捷的棕色狐狸跳过了懒惰的狗。 model_name gpt-3.5-turbo-0125 # 使用 calculate_cost 函数分别传入 prompt 和 completion cost tc.calculate_cost(prompt_text, completion_text, model_name) print(f精确计算 - 模型: {model_name}) print(f 输入Token数: {cost.input_tokens}) print(f 输出Token数: {cost.output_tokens}) print(f 总成本: ${cost.cost_usd:.8f}) # GPT-3.5很便宜需要更多小数位这次的计算就是完全精确的因为它基于已知的输入和输出文本。3.3 集成到现有代码装饰器模式最实用的方式是将tokencost集成到你现有的API调用逻辑中实现实时监控。这里演示一个装饰器模式的简单例子import tokencost as tc from openai import OpenAI import functools client OpenAI(api_keyyour-api-key) def cost_monitor(func): 一个简单的成本监控装饰器 functools.wraps(func) def wrapper(*args, **kwargs): # 假设被装饰的函数返回 (prompt, completion, model_name) prompt, completion, model_name func(*args, **kwargs) if prompt and completion and model_name: cost tc.calculate_cost(prompt, completion, model_name) print(f[成本监控] 调用 {func.__name__}: 消耗 ${cost.cost_usd:.6f}) # 这里可以改为写入日志、发送告警等 if cost.cost_usd 0.01: # 设置单次调用成本阈值 print(f ⚠️ 警告单次成本超过 $0.01) return prompt, completion, model_name return wrapper cost_monitor def call_chatgpt(question): prompt f回答以下问题{question} response client.chat.completions.create( modelgpt-3.5-turbo, messages[{role: user, content: prompt}] ) completion response.choices[0].message.content return prompt, completion, gpt-3.5-turbo # 调用函数自动计算并打印成本 call_chatgpt(什么是机器学习)实操心得装饰器模式非常灵活你可以把它套在任何会产生AI调用的函数上。在生产环境中建议将成本数据写入结构化日志如JSON格式方便后续用ELK、Datadog等工具做聚合分析和可视化报表而不是简单打印。4. 高级用法与实战场景掌握了基础计算我们来看看tokencost在一些复杂场景下的应用。4.1 场景一多模型成本对比选型你的应用可能需要在效果和成本间权衡。比如一个简单的文本校对功能是用GPT-4效果好但贵还是用Claude Haiku便宜又够用import tokencost as tc def compare_model_cost(prompt, expected_completion_length100): 对比不同模型处理同一提示的成本 models_to_compare [ gpt-4-turbo, # OpenAI 最新主力能力强成本高 gpt-3.5-turbo, # OpenAI 性价比之选 claude-3-haiku-20240307, # Anthropic 最快最便宜的模型 claude-3-sonnet-20240229, # Anthropic 平衡型 gemini-1.5-pro # Google 最新模型 ] print(f提示词: {prompt[:50]}...) print(f假设输出长度: {expected_completion_length} tokens) print(- * 60) results [] for model in models_to_compare: # 使用 calculate_cost并假设一个输出长度 # 注意这里我们用一个占位文本来模拟输出其token数约为expected_completion_length # 更严谨的做法是用模型生成一个样例或根据历史数据估算。 placeholder_completion x * expected_completion_length # 简单模拟 try: cost tc.calculate_cost(prompt, placeholder_completion, model) results.append((model, cost.cost_usd, cost.input_tokens)) except Exception as e: print(f计算模型 {model} 成本时出错: {e}) results.append((model, None, None)) # 按成本排序 results_sorted sorted([r for r in results if r[1] is not None], keylambda x: x[1]) print(成本对比结果从低到高:) for model, cost_usd, input_tokens in results_sorted: print(f {model:30} | 输入Token: {input_tokens:4d} | 预估成本: ${cost_usd:.8f}) return results_sorted # 测试一个文本润色任务 prompt 请润色以下段落使其更专业、流畅机器学习是人工智能的一个分支它让计算机能从数据中学习而不用明确编程。 compare_model_cost(prompt, expected_completion_length150)通过这样的对比你可以快速量化不同模型选择带来的成本差异为技术选型提供关键数据支撑。4.2 场景二复杂提示词工程的成本优化当你设计复杂的思维链Chain-of-Thought或ReAct智能体提示词时提示词本身可能非常长。tokencost可以帮助你量化每个组件系统指令、Few-shot示例、用户查询的Token消耗从而进行裁剪和优化。import tokencost as tc def analyze_prompt_components(messages, model_namegpt-4-turbo): 拆解并分析复杂提示词中各部分的Token消耗 total_input_tokens 0 print(f提示词组件分析 (模型: {model_name})) print( * 50) for i, msg in enumerate(messages): # 计算单条消息的token数 token_count tc.count_tokens(msg[content], model_name) total_input_tokens token_count print(f{i1}. [{msg[role].upper():6}] Tokens: {token_count:4d}) print(f 内容预览: {msg[content][:80].replace(chr(10), )}...) print() # 假设输出为输入的一半 estimated_output_tokens total_input_tokens // 2 total_cost tc.calculate_cost_from_messages(messages, model_name, estimated_output_tokens) print(f总计输入Tokens: {total_input_tokens}) print(f预估输出Tokens: {estimated_output_tokens}) print(f预估总成本: ${total_cost.cost_usd:.6f}) print( * 50) print(优化建议) print(1. 检查系统指令是否过于冗长。) print(2. Few-shot示例是否必要能否用更短的例子) print(3. 用户查询能否更精炼) return total_input_tokens, total_cost.cost_usd # 一个复杂的ReAct智能体提示词示例 complex_messages [ { role: system, content: 你是一个善于思考的助手。请严格遵循以下格式回答问题\nThought: 你需要先思考当前情况\nAction: 你需要执行一个动作只能是[Search] [Calculate] [Answer]中的一个。\nObservation: 动作执行后的结果\n... (这个Thought/Action/Observation循环可以重复多次)\nFinal Answer: 最终答案\n现在开始 }, { role: user, content: 梅西在2022年世界杯决赛中进了几个球他所在的俱乐部在2023年赢得了哪个重要冠军 } ] analyze_prompt_components(complex_messages)通过这种分析你可能会发现系统指令占了很大一部分Token。也许你可以将其精简为“你是一个ReAct智能体请按 Thought/Action/Observation 格式逐步推理并回答问题。” 这可能会节省大量Token从而降低每次调用的成本。4.3 场景三批量作业成本预算与监控如果你需要处理大量文档如批量总结、分类提前进行成本预算是非常重要的。import tokencost as tc def budget_batch_processing(documents, model_name, avg_output_ratio0.5): 为批量文档处理做成本预算 :param documents: 文档内容列表 :param model_name: 模型名称 :param avg_output_ratio: 预估输出Token数与输入Token数的平均比例 total_input_tokens 0 cost_per_doc [] print(f批量处理成本预算 - 模型: {model_name}) print(f文档数量: {len(documents)}) print(- * 40) for i, doc in enumerate(documents[:5]): # 预览前5个 input_tokens tc.count_tokens(doc, model_name) estimated_output_tokens int(input_tokens * avg_output_ratio) cost tc.calculate_cost(doc, x * estimated_output_tokens, model_name) # 用占位符 total_input_tokens input_tokens cost_per_doc.append(cost.cost_usd) if i 5: print(f文档{i1}: {len(doc)}字符 - {input_tokens} Tokens - 预估 ${cost.cost_usd:.6f}) if len(documents) 5: print(f... 以及另外 {len(documents)-5} 个文档) avg_cost_per_doc sum(cost_per_doc) / len(cost_per_doc) total_estimated_cost avg_cost_per_doc * len(documents) print(- * 40) print(f预估单文档平均成本: ${avg_cost_per_doc:.6f}) print(f预估处理全部文档总成本: ${total_estimated_cost:.6f}) print(f预估总输入Tokens: {total_input_tokens} (基于预览样本估算)) # 设置预算告警 your_budget 10.0 # 假设预算10美元 if total_estimated_cost your_budget: print(f⚠️ 警告预估总成本 ${total_estimated_cost:.2f} 超过预算 ${your_budget:.2f}) print(f建议考虑使用更便宜的模型或先处理部分文档。) return total_estimated_cost # 模拟一批待总结的新闻短文 sample_docs [ OpenAI发布了新模型GPT-4o该模型支持多模态输入输出并且在响应速度上有了显著提升。, 苹果公司在全球开发者大会上推出了全新的AI功能集成在其操作系统中。, # ... 这里可以有很多文档 ] * 10 # 复制10份模拟批量 budget_batch_processing(sample_docs, gpt-3.5-turbo, avg_output_ratio0.3)这个功能可以帮助你在启动一个昂贵的批量任务前心里有杆秤避免账单失控。5. 内部机制与关键参数解析要真正用好tokencost理解其内部工作机制和一些关键参数是必要的。5.1 价格数据从何而来tokencost的价格数据硬编码在库的源代码中通常是一个名为MODEL_PRICES的字典。这个字典的维护是项目持续性的关键。作为使用者你需要知道数据可能滞后模型价格可能会变动尤其是降价新模型也会不断推出。虽然tokencost项目会更新但你的生产环境需要定期更新库版本以获取最新价格。如何应对未支持的模型如果你使用的模型不在支持列表中tokencost会抛出NotImplementedError。这时你有两个选择提交PR查阅该模型API提供商的定价页面获取其输入/输出每百万Token的价格然后向tokencost项目提交代码添加该模型。临时本地扩展在你的代码中手动扩展价格字典。import tokencost as tc # 假设有一个新模型 “acme-ai/super-model-v1” CUSTOM_PRICES { “acme-ai/super-model-v1”: { “input_price_per_million”: 0.50, # 每百万输入Token 0.5美元 “output_price_per_million”: 1.50, # 每百万输出Token 1.5美元 “tokenizer”: “cl100k_base” # 假设它使用与GPT-4相同的分词器 } } # 合并到tokencost的内部价格表注意此方法依赖于内部实现可能随版本变化 tc.models.MODEL_PRICES.update(CUSTOM_PRICES)注意第二种方法是临时方案且依赖于库的内部结构在升级库时可能会失效。最稳妥的方式还是推动模型被官方支持。5.2 分词器Tokenizer的选择与影响成本计算的准确性极度依赖于正确的Token计数。不同的模型使用不同的分词器模型提供商典型分词器特点OpenAI (GPT)tiktoken(cl100k_base, p50k_base等)基于BPE对非英文字符如中文可能一个汉字对应多个Token效率相对较低。Anthropic (Claude)自定义分词器官方未完全公开tokencost使用其API的/v1/tokenize端点或近似模拟。Meta (Llama 2/3)sentencepiece开源词表大对多语言支持较好。Google (Gemini)未完全公开tokencost可能使用近似方法或调用其计数API。关键影响同一段文本在不同模型的分词器下Token数量会有显著差异。例如一段中文文本在GPT模型下的Token数可能是在Claude模型下的1.5倍甚至更多。这意味着即使单价相同处理中文内容时使用GPT系列的实际成本可能更高。tokencost帮你屏蔽了这些差异自动调用正确的分词器进行计算。5.3 输出Token预估的挑战与策略如前所述预估输出Token数是成本计算中最不确定的一环。tokencost的默认策略输出输入/2非常粗略。在实际项目中你需要建立自己的预估策略基于历史数据的统计记录下你的应用历史上每次调用的输入输出Token数计算一个平均的“输出/输入”比例。这个比例对于特定任务如翻译、总结、问答是相对稳定的。设置最大输出限制几乎所有LLM API都支持max_tokens参数。你可以将这个值作为“最坏情况”下的输出Token数进行成本预估确保预算覆盖上限。任务类型分类为不同的任务类型设定不同的预估比例。例如分类任务输出Token很少可能就几个词比例设为0.1。创意写作输出可能很长比例设为2.0或更高。代码生成输出长度不定比例设为1.0并结合max_tokens限制。在你的监控装饰器中可以集成更智能的预估逻辑def estimate_output_tokens(task_type, input_tokens, history_data): 根据任务类型和历史数据预估输出Token数 ratios { “classification”: 0.1, “summarization”: 0.5, “translation”: 1.0, “creative_writing”: 2.0, “code_generation”: 1.5, } base_ratio ratios.get(task_type, 0.5) # 可以结合历史数据的移动平均进行微调 adjusted_ratio base_ratio * 0.7 history_data.get_avg_ratio(task_type) * 0.3 return int(input_tokens * adjusted_ratio)6. 生产环境集成方案与避坑指南将tokencost用于生产环境不仅仅是调用几个函数那么简单需要考虑健壮性、可观测性和性能。6.1 集成架构建议一个成熟的生产级成本监控架构可能包含以下组件[你的AI应用] - [成本监控装饰器/中间件] (集成tokencost) - [日志记录器] (记录: timestamp, request_id, model, input_tokens, output_tokens, cost) - [中央日志聚合系统] (如ELK, Loki) - [监控告警平台] (如PrometheusGrafana, Datadog) - [成本仪表盘] (可视化各模型、各API Key、各业务线的日/周/月消耗)具体实现要点异步非阻塞成本计算尤其是涉及网络调用分词API时不应阻塞主业务逻辑。考虑使用异步装饰器或将计算任务发送到后台线程/队列。关联请求ID确保每条成本日志都能关联到具体的用户请求或业务流水方便问题追踪。采样率对于超高并发的服务记录每一次调用的详细成本可能产生大量日志。可以设置采样率如1%或者只记录超过一定阈值的“昂贵”请求。6.2 常见问题与排查技巧问题1计算成本与API账单对不上可能原因A价格表过期。检查你使用的tokencost版本是否最新。去OpenAI等官网核对最新价格。可能原因B输出Token预估偏差过大。对比你预估的输出Token数和API实际返回的usage.completion_tokens。调整你的预估策略。可能原因C缓存Caching。如果你使用了OpenAI的API缓存功能被缓存的响应可能收费不同更便宜。tokencost的计算是基于非缓存情况的全价。可能原因D其他费用。账单可能包含图片输入Vision、微调Fine-tuning等其他费用tokencost目前主要计算文本Token。问题2遇到NotImplementedError: Model ‘xxx’ not found错误排查首先运行tc.models.MODEL_PRICES.keys()查看所有支持的模型列表。确认你的模型名称字符串完全匹配注意大小写和版本号。解决如前所述提交Issue或PR或者临时扩展本地价格字典。问题3计算速度慢影响应用性能排查Token计数特别是对于长文本是CPU密集型操作。如果使用Claude等需要网络调用其tokenize接口的模型延迟更高。优化离线计算对于固定的提示词模板如系统指令可以预先计算其Token数并缓存无需每次重复计算。抽样计算在监控场景下不一定需要100%精确。可以对长文本进行采样估算如前1000个字符的Token密度推广到全文或者降低监控频率。异步化确保成本计算逻辑是异步的不阻塞主线程。问题4如何监控不同项目或API Key的成本方案在你的成本监控装饰器中除了记录模型和Token数还要记录一个“成本中心”标签比如project: “chatbot-v2”或api_key_id: “team-ai”。这样在后续的日志分析中就可以按这些维度进行聚合清晰看到每个项目、每个团队的资源消耗。6.3 一个生产级监控装饰器示例import tokencost as tc import time import logging from functools import wraps from your_logging_library import get_logger # 替换为你项目的日志库 logger get_logger(__name__) def cost_monitor_advanced(project_tag, cost_threshold_usd0.05): 一个更高级的生产环境成本监控装饰器。 装饰异步的LLM调用函数该函数应返回 (prompt, completion, model_name)。 def decorator(func): wraps(func) async def async_wrapper(*args, **kwargs): request_id kwargs.get(‘request_id’, f‘req_{int(time.time())}’) start_time time.time() try: # 执行原函数 prompt, completion, model_name await func(*args, **kwargs) # 计算成本 if all([prompt, completion, model_name]): cost tc.calculate_cost(prompt, completion, model_name) latency_ms int((time.time() - start_time) * 1000) # 结构化日志 log_entry { “timestamp”: time.time(), “request_id”: request_id, “project”: project_tag, “model”: model_name, “input_tokens”: cost.input_tokens, “output_tokens”: cost.output_tokens, “cost_usd”: cost.cost_usd, “latency_ms”: latency_ms, “status”: “success” } logger.info(“LLM API call completed”, extralog_entry) # 成本超限告警 if cost.cost_usd cost_threshold_usd: logger.warning( f“High-cost LLM call detected for project ‘{project_tag}’: ${cost.cost_usd:.4f}”, extra{“request_id”: request_id, “cost”: cost.cost_usd, “threshold”: cost_threshold_usd} ) # 这里可以集成邮件、Slack等告警 return prompt, completion, model_name else: logger.error(“LLM function did not return valid data for cost calculation”, extra{“request_id”: request_id}) return prompt, completion, model_name except Exception as e: latency_ms int((time.time() - start_time) * 1000) logger.error( f“LLM call failed: {str(e)}”, extra{ “timestamp”: time.time(), “request_id”: request_id, “project”: project_tag, “latency_ms”: latency_ms, “status”: “error”, “error”: str(e) } ) raise e return async_wrapper return decorator # 使用示例 cost_monitor_advanced(project_tag“customer-support-bot”, cost_threshold_usd0.03) async def call_llm_for_support(question, request_id): # ... 你的LLM调用逻辑 return prompt, completion, “gpt-4”这个装饰器提供了请求追踪、结构化日志、性能监控和成本告警等生产环境所需的核心功能。7. 总结与最佳实践经过对tokencost从原理到实战的深度拆解我们可以提炼出以下最佳实践帮助你在项目中高效、准确地管理AI成本左移成本意识不要等到月底看账单时才惊讶。在项目设计、提示词开发、模型选型的每一个阶段都习惯性地用tokencost进行快速估算。将成本作为评估技术方案的一个核心指标。建立基准测试为你的核心AI任务如客服回答、文本总结建立标准的测试集。用这个测试集定期例如每月运行不同模型的成本/效果评估监控模型价格变动和性能变化对总成本的影响。实施分级策略根据任务的复杂度和对效果的要求实施模型调用分级。例如简单/标准化任务使用低成本模型如GPT-3.5-Turbo, Claude Haiku。复杂/关键任务使用高性能模型如GPT-4, Claude Opus。可以在代码中实现一个简单的路由逻辑根据输入内容自动选择模型。优化提示词效率Token就是钱。定期审查你的系统提示词和Few-shot示例删除冗余信息使用更简洁的表达。对于长上下文模型避免无意义地填满上下文窗口。设置预算与告警在项目层面设置每日/每周成本预算并集成实时告警。当成本消耗过快时能第一时间收到通知并介入排查防止因代码bug或流量突增导致的经济损失。持续更新与验证定期更新tokencost库版本以获取最新的模型价格。同时定期将tokencost的计算结果与你从云平台拉取的详细账单进行交叉验证确保计算逻辑的准确性。tokencost这类工具的出现标志着AI应用开发正从“野蛮生长”走向“精耕细作”。成本可控是AI应用能否规模化、商业化的关键前提之一。把它作为你AI工具箱里的标配就像程序员会用性能分析工具一样让每一分Token的消耗都明明白白从而更自信、更可持续地构建你的AI产品。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2600051.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

SpringBoot-17-MyBatis动态SQL标签之常用标签

文章目录 1 代码1.1 实体User.java1.2 接口UserMapper.java1.3 映射UserMapper.xml1.3.1 标签if1.3.2 标签if和where1.3.3 标签choose和when和otherwise1.4 UserController.java2 常用动态SQL标签2.1 标签set2.1.1 UserMapper.java2.1.2 UserMapper.xml2.1.3 UserController.ja…

wordpress后台更新后 前端没变化的解决方法

使用siteground主机的wordpress网站,会出现更新了网站内容和修改了php模板文件、js文件、css文件、图片文件后,网站没有变化的情况。 不熟悉siteground主机的新手,遇到这个问题,就很抓狂,明明是哪都没操作错误&#x…

网络编程(Modbus进阶)

思维导图 Modbus RTU(先学一点理论) 概念 Modbus RTU 是工业自动化领域 最广泛应用的串行通信协议,由 Modicon 公司(现施耐德电气)于 1979 年推出。它以 高效率、强健性、易实现的特点成为工业控制系统的通信标准。 包…

UE5 学习系列(二)用户操作界面及介绍

这篇博客是 UE5 学习系列博客的第二篇,在第一篇的基础上展开这篇内容。博客参考的 B 站视频资料和第一篇的链接如下: 【Note】:如果你已经完成安装等操作,可以只执行第一篇博客中 2. 新建一个空白游戏项目 章节操作,重…

IDEA运行Tomcat出现乱码问题解决汇总

最近正值期末周,有很多同学在写期末Java web作业时,运行tomcat出现乱码问题,经过多次解决与研究,我做了如下整理: 原因: IDEA本身编码与tomcat的编码与Windows编码不同导致,Windows 系统控制台…

利用最小二乘法找圆心和半径

#include <iostream> #include <vector> #include <cmath> #include <Eigen/Dense> // 需安装Eigen库用于矩阵运算 // 定义点结构 struct Point { double x, y; Point(double x_, double y_) : x(x_), y(y_) {} }; // 最小二乘法求圆心和半径 …

使用docker在3台服务器上搭建基于redis 6.x的一主两从三台均是哨兵模式

一、环境及版本说明 如果服务器已经安装了docker,则忽略此步骤,如果没有安装,则可以按照一下方式安装: 1. 在线安装(有互联网环境): 请看我这篇文章 传送阵>> 点我查看 2. 离线安装(内网环境):请看我这篇文章 传送阵>> 点我查看 说明&#xff1a;假设每台服务器已…

XML Group端口详解

在XML数据映射过程中&#xff0c;经常需要对数据进行分组聚合操作。例如&#xff0c;当处理包含多个物料明细的XML文件时&#xff0c;可能需要将相同物料号的明细归为一组&#xff0c;或对相同物料号的数量进行求和计算。传统实现方式通常需要编写脚本代码&#xff0c;增加了开…

LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器的上位机配置操作说明

LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器专为工业环境精心打造&#xff0c;完美适配AGV和无人叉车。同时&#xff0c;集成以太网与语音合成技术&#xff0c;为各类高级系统&#xff08;如MES、调度系统、库位管理、立库等&#xff09;提供高效便捷的语音交互体验。 L…

(LeetCode 每日一题) 3442. 奇偶频次间的最大差值 I (哈希、字符串)

题目&#xff1a;3442. 奇偶频次间的最大差值 I 思路 &#xff1a;哈希&#xff0c;时间复杂度0(n)。 用哈希表来记录每个字符串中字符的分布情况&#xff0c;哈希表这里用数组即可实现。 C版本&#xff1a; class Solution { public:int maxDifference(string s) {int a[26]…

【大模型RAG】拍照搜题技术架构速览:三层管道、两级检索、兜底大模型

摘要 拍照搜题系统采用“三层管道&#xff08;多模态 OCR → 语义检索 → 答案渲染&#xff09;、两级检索&#xff08;倒排 BM25 向量 HNSW&#xff09;并以大语言模型兜底”的整体框架&#xff1a; 多模态 OCR 层 将题目图片经过超分、去噪、倾斜校正后&#xff0c;分别用…

【Axure高保真原型】引导弹窗

今天和大家中分享引导弹窗的原型模板&#xff0c;载入页面后&#xff0c;会显示引导弹窗&#xff0c;适用于引导用户使用页面&#xff0c;点击完成后&#xff0c;会显示下一个引导弹窗&#xff0c;直至最后一个引导弹窗完成后进入首页。具体效果可以点击下方视频观看或打开下方…

接口测试中缓存处理策略

在接口测试中&#xff0c;缓存处理策略是一个关键环节&#xff0c;直接影响测试结果的准确性和可靠性。合理的缓存处理策略能够确保测试环境的一致性&#xff0c;避免因缓存数据导致的测试偏差。以下是接口测试中常见的缓存处理策略及其详细说明&#xff1a; 一、缓存处理的核…

龙虎榜——20250610

上证指数放量收阴线&#xff0c;个股多数下跌&#xff0c;盘中受消息影响大幅波动。 深证指数放量收阴线形成顶分型&#xff0c;指数短线有调整的需求&#xff0c;大概需要一两天。 2025年6月10日龙虎榜行业方向分析 1. 金融科技 代表标的&#xff1a;御银股份、雄帝科技 驱动…

观成科技:隐蔽隧道工具Ligolo-ng加密流量分析

1.工具介绍 Ligolo-ng是一款由go编写的高效隧道工具&#xff0c;该工具基于TUN接口实现其功能&#xff0c;利用反向TCP/TLS连接建立一条隐蔽的通信信道&#xff0c;支持使用Let’s Encrypt自动生成证书。Ligolo-ng的通信隐蔽性体现在其支持多种连接方式&#xff0c;适应复杂网…

铭豹扩展坞 USB转网口 突然无法识别解决方法

当 USB 转网口扩展坞在一台笔记本上无法识别,但在其他电脑上正常工作时,问题通常出在笔记本自身或其与扩展坞的兼容性上。以下是系统化的定位思路和排查步骤,帮助你快速找到故障原因: 背景: 一个M-pard(铭豹)扩展坞的网卡突然无法识别了,扩展出来的三个USB接口正常。…

未来机器人的大脑:如何用神经网络模拟器实现更智能的决策?

编辑&#xff1a;陈萍萍的公主一点人工一点智能 未来机器人的大脑&#xff1a;如何用神经网络模拟器实现更智能的决策&#xff1f;RWM通过双自回归机制有效解决了复合误差、部分可观测性和随机动力学等关键挑战&#xff0c;在不依赖领域特定归纳偏见的条件下实现了卓越的预测准…

Linux应用开发之网络套接字编程(实例篇)

服务端与客户端单连接 服务端代码 #include <sys/socket.h> #include <sys/types.h> #include <netinet/in.h> #include <stdio.h> #include <stdlib.h> #include <string.h> #include <arpa/inet.h> #include <pthread.h> …

华为云AI开发平台ModelArts

华为云ModelArts&#xff1a;重塑AI开发流程的“智能引擎”与“创新加速器”&#xff01; 在人工智能浪潮席卷全球的2025年&#xff0c;企业拥抱AI的意愿空前高涨&#xff0c;但技术门槛高、流程复杂、资源投入巨大的现实&#xff0c;却让许多创新构想止步于实验室。数据科学家…

深度学习在微纳光子学中的应用

深度学习在微纳光子学中的主要应用方向 深度学习与微纳光子学的结合主要集中在以下几个方向&#xff1a; 逆向设计 通过神经网络快速预测微纳结构的光学响应&#xff0c;替代传统耗时的数值模拟方法。例如设计超表面、光子晶体等结构。 特征提取与优化 从复杂的光学数据中自…