InternLM2-Chat-1.8B模型API接口封装与调试使用Postman进行测试你是不是已经成功把InternLM2-Chat-1.8B模型部署起来了看着命令行里跑起来的服务却不知道下一步该怎么把它用起来或者你想把这个模型的能力开放给其他应用调用但不知道如何设计接口、怎么测试才靠谱别担心今天我们就来解决这个问题。我会带你走一遍从零开始把一个部署好的模型服务封装成一套标准、好用的API接口并且用Postman这个工具把它彻底调试明白。整个过程就像给一个功能强大的机器装上标准化的操作面板和说明书让任何人都能轻松使用。即使你之前没怎么接触过Web开发或者接口测试跟着步骤走也能搞定。1. 准备工作理解我们要做什么在开始敲代码之前我们先花几分钟理清思路。我们的目标很明确为已经部署的InternLM2-Chat-1.8B模型服务创建一个Web API层。你可以把这个API层想象成餐厅的前台。顾客其他应用程序不需要知道后厨模型推理服务具体怎么炒菜他们只需要看菜单API文档、点菜发送请求然后等着上菜接收响应就行了。我们的工作就是搭建这个前台设计好菜单并确保点菜和上菜的流程顺畅无误。为了完成这个目标我们需要做三件事搭建API服务器使用一个Web框架这里用FastAPI来创建接收HTTP请求、调用模型、返回结果的程序。设计并实现接口定义清楚前端需要发送什么数据比如用户的问题后端会返回什么数据比如模型的回答。测试与调试确保每个接口都按照预期工作能处理各种正常和异常情况。今天我们会聚焦在后两点并以FastAPI为例。假设你的模型服务已经在本地运行并可以通过某个端口例如http://localhost:8000的内部接口进行调用。2. 使用FastAPI构建API服务器FastAPI是一个现代、快速高性能的Python Web框架特别适合构建API。它自动生成交互式API文档这对我们调试和后续使用非常友好。首先确保你已经安装了必要的库。打开你的终端或命令行执行以下命令pip install fastapi uvicorn接下来我们创建一个名为model_api.py的Python文件开始编写我们的API服务。2.1 创建基础应用与模型客户端我们先导入必要的模块并创建一个FastAPI应用实例。同时我们需要一个函数来调用我们背后已经部署好的模型服务。这里假设模型服务提供了一个简单的HTTP接口来生成对话。from fastapi import FastAPI, HTTPException from pydantic import BaseModel, Field from typing import Optional, List import requests import time # 初始化FastAPI应用 app FastAPI( titleInternLM2-Chat-1.8B API Service, description提供InternLM2-Chat-1.8B模型对话能力的API接口, version1.0.0 ) # 配置这里填写你实际运行的模型服务地址和端口 MODEL_SERVICE_URL http://localhost:8000 # 请根据你的实际情况修改 class ModelClient: 一个简单的模型服务客户端 staticmethod def generate(prompt: str, max_length: int 512) - str: 调用底层模型服务生成文本。 这里是一个示例你需要根据你的模型服务实际接口进行调整。 try: # 示例请求体实际格式需匹配你的模型服务 payload { prompt: prompt, max_new_tokens: max_length, temperature: 0.7, top_p: 0.9, } response requests.post( f{MODEL_SERVICE_URL}/generate, # 假设的端点 jsonpayload, timeout30 # 设置超时时间 ) response.raise_for_status() # 如果状态码不是200抛出异常 result response.json() # 假设返回格式为 {text: 生成的回答...} return result.get(text, ) except requests.exceptions.RequestException as e: # 记录日志或抛出更具体的错误 raise HTTPException(status_code503, detailf模型服务调用失败: {str(e)}) # 创建全局客户端实例 model_client ModelClient()这段代码做了几件事创建了FastAPI应用并设置了标题、描述等元信息这些会自动显示在API文档里。定义了一个ModelClient类它封装了与底层模型服务通信的细节。MODEL_SERVICE_URL需要你替换成自己模型服务的真实地址。在generate方法中我们构造了一个请求发送给模型服务。请注意/generate这个端点和请求体的格式payload完全是示例你必须根据你实际部署的模型服务的API文档来修改这部分代码。这是整个流程中最关键的一步。2.2 定义数据模型请求与响应清晰的数据模型是API好用的基础。我们使用Pydantic来定义。# 定义请求数据模型 class ChatMessage(BaseModel): role: str Field(..., description消息角色如 user 或 assistant) content: str Field(..., description消息内容) class ChatRequest(BaseModel): messages: List[ChatMessage] Field(..., description对话历史消息列表) max_tokens: Optional[int] Field(512, description生成的最大token数) temperature: Optional[float] Field(0.7, ge0.0, le2.0, description采样温度控制随机性) top_p: Optional[float] Field(0.9, ge0.0, le1.0, description核采样参数) # 定义响应数据模型 class ChatResponse(BaseModel): message: ChatMessage Field(..., description模型生成的回复消息) finish_reason: str Field(..., description生成结束原因如 length 或 stop) usage: dict Field(..., descriptiontoken使用情况如 {prompt_tokens: 10, completion_tokens: 50}) created: int Field(default_factorylambda: int(time.time()), description响应创建时间戳) class ModelInfoResponse(BaseModel): model_name: str Field(..., description模型名称) model_version: str Field(..., description模型版本) api_version: str Field(..., descriptionAPI版本) capabilities: List[str] Field(..., description模型支持的能力列表)ChatRequest定义了调用对话接口时需要发送的数据格式ChatResponse定义了接口会返回的数据格式。这种强类型定义不仅让代码更健壮还能让FastAPI自动生成非常清晰的API文档。2.3 实现核心API端点现在我们来创建两个最常用的端点一个用于对话一个用于查询模型信息。app.post(/v1/chat/completions, response_modelChatResponse) async def create_chat_completion(request: ChatRequest): 核心对话接口。 接收一段对话历史返回模型的回复。 # 1. 将消息列表格式化为模型所需的提示词Prompt # 这里需要根据InternLM2-Chat模型要求的对话格式进行拼接 # 例如: “|im_start|user\n{用户消息}|im_end|\n|im_start|assistant\n” formatted_prompt for msg in request.messages: formatted_prompt f|im_start|{msg.role}\n{msg.content}|im_end|\n formatted_prompt |im_start|assistant\n # 2. 调用模型客户端生成回复 generated_text model_client.generate( promptformatted_prompt, max_lengthrequest.max_tokens ) # 3. 构造并返回标准化的响应 # 注意实际的token计数需要从模型服务返回结果中获取此处为模拟 return ChatResponse( messageChatMessage(roleassistant, contentgenerated_text.strip()), finish_reasonstop, # 简化处理 usage{prompt_tokens: 100, completion_tokens: len(generated_text.split())}, # 模拟数据 ) app.get(/v1/models, response_modelModelInfoResponse) async def list_models(): 查询模型信息接口。 返回当前服务的模型名称、版本和支持的功能。 return ModelInfoResponse( model_nameInternLM2-Chat-1.8B, model_version1.0, api_versionv1, capabilities[chat_completion] ) app.get(/health) async def health_check(): 健康检查端点。 用于监控服务是否存活。 # 可以在这里添加对底层模型服务的健康检查 try: # 简单检查模型服务是否可访问 requests.get(f{MODEL_SERVICE_URL}/health, timeout5) return {status: healthy, model_service: reachable} except requests.exceptions.RequestException: return {status: degraded, model_service: unreachable}/v1/chat/completions: 这是最主要的对话接口。它接收一个包含对话历史的请求将其格式化成模型能理解的Prompt调用模型最后将回复包装成标准格式返回。提示词格式化部分 (formatted_prompt) 是关键必须严格按照InternLM2-Chat模型规定的对话模板来写否则模型可能无法正确理解。/v1/models: 这个接口遵循了类似OpenAI的格式用于让客户端查询服务提供了哪些模型。/health: 这是一个简单的健康检查接口对于运维和监控非常有用。2.4 运行API服务代码写好了让我们把它跑起来。在终端中进入你的代码目录运行uvicorn model_api:app --reload --host 0.0.0.0 --port 8080model_api:app告诉uvicorn在model_api.py文件中寻找名为app的FastAPI实例。--reload开启热重载修改代码后会自动重启服务非常适合开发调试。--host 0.0.0.0让服务监听所有网络接口这样同一局域网内的其他设备比如你装Postman的电脑也能访问。--port 8080指定服务运行在8080端口。看到类似Uvicorn running on http://0.0.0.0:8080的输出说明服务启动成功了。现在打开你的浏览器访问http://localhost:8080/docs。你会看到一个自动生成的、交互式的API文档页面Swagger UI。你可以在这里直接看到我们定义的所有接口甚至可以直接点击“Try it out”按钮进行简单的测试这是FastAPI带来的巨大便利。3. 使用Postman进行API调试有了运行起来的API服务下一步就是系统地测试它。Postman是这方面最流行的工具之一。它不仅能发送请求还能管理请求集合、环境变量进行自动化测试等。3.1 创建并配置第一个请求打开Postman点击左上角的“New” - “Request”。给请求起个名字比如“Chat Completion”并保存到一个新的Collection集合里方便管理。在请求构建界面进行如下配置方法选择POST。URL输入http://localhost:8080/v1/chat/completions。Headers点击“Headers”标签添加一个键值对Key:Content-TypeValue:application/json这告诉服务器我们发送的是JSON格式的数据。Body点击“Body”标签选择“raw”并从右侧下拉菜单中选择“JSON”。然后在下方的大文本框中输入我们的请求体。3.2 构造请求体Body根据我们定义的ChatRequest模型一个最简单的对话请求体可以这样写{ messages: [ { role: user, content: 你好请介绍一下你自己。 } ], max_tokens: 200, temperature: 0.8 }这个请求的意思是以用户身份说一句“你好请介绍一下你自己。”让模型生成最多200个token的回复并使用0.8的温度值创造性较高。3.3 发送请求并解读响应点击蓝色的“Send”按钮。如果一切正常你会在下方的“Response”区域看到服务器返回的结果。一个成功的响应可能长这样{ message: { role: assistant, content: 你好我是InternLM2-Chat一个由上海人工智能实验室开发的大语言模型。我基于1.8B参数训练擅长进行对话、回答问题、提供信息和建议。虽然我的规模不算最大但我力求在效率和实用性上取得平衡。有什么我可以帮助你的吗 }, finish_reason: stop, usage: { prompt_tokens: 100, completion_tokens: 85 }, created: 1712345678 }解读响应message: 包含了模型生成的回复其角色(role)是assistant。finish_reason: 表示生成结束的原因stop通常意味着模型输出了完整的句子。usage: 显示了这次请求消耗的token数量对于计费和监控很有用。created: 响应生成的时间戳。3.4 进阶调试技巧仅仅发送成功请求还不够一个健壮的API需要能处理各种情况。测试多轮对话 修改请求体传入更长的对话历史。这能测试模型是否具备上下文理解能力。{ messages: [ {role: user, content: 今天的天气怎么样}, {role: assistant, content: 我是一个AI模型无法获取实时天气信息。你可以通过天气预报应用或网站查询。}, {role: user, content: 那你能做什么} ] }测试异常与错误处理发送错误格式的JSON在Body里故意删掉一个引号或括号看服务器是否返回清晰的错误信息应该是HTTP 422状态码并提示数据验证错误。测试必填字段缺失不传messages字段看错误提示是否友好。触发模型服务错误将MODEL_SERVICE_URL指向一个错误的地址然后发送请求。我们的代码应该捕获这个异常并返回一个503状态码和“模型服务调用失败”的详情。在Postman中你会看到红色的错误状态码和我们的自定义错误信息。使用环境变量 在Postman中你可以创建“Environments”。比如创建一个“Development”环境里面定义一个变量base_url值为http://localhost:8080。然后在请求的URL中就可以使用{{base_url}}/v1/chat/completions。这样当你切换到“Production”环境时只需要修改变量值所有请求的URL都会自动更新非常方便。编写自动化测试脚本 在Postman请求的“Tests”标签页里你可以用JavaScript编写测试脚本。例如检查响应状态码是否为200响应体是否包含特定字段。// 检查状态码 pm.test(Status code is 200, function () { pm.response.to.have.status(200); }); // 检查响应体结构 pm.test(Response has the correct structure, function () { var jsonData pm.response.json(); pm.expect(jsonData).to.have.property(message); pm.expect(jsonData.message).to.have.property(content); pm.expect(jsonData).to.have.property(usage); });发送请求后测试结果会在“Test Results”标签页显示。4. 总结与后续步骤走完这一趟你应该已经成功搭建了一个包裹在InternLM2-Chat-1.8B模型外的API服务并且用Postman把它里里外外测试了一遍。这个过程的核心其实就是标准化和契约化我们定义了清晰的请求和响应格式数据模型并确保服务按照这个契约工作。实际部署时你还需要考虑更多生产环境的问题比如安全性为API添加认证API Key、JWT Token等防止被滥用。性能与并发使用uvicorn的--workers参数启动多个工作进程或者结合Gunicorn。考虑使用Redis等做简单的请求队列或缓存。日志与监控在代码中添加详细的日志记录方便排查问题。/health端点可以集成到Kubernetes存活探针或外部监控系统中。API文档除了自动生成的/docs你可能需要编写更面向用户的文档说明每个字段的具体含义和示例。现在你的模型不再是一个只能通过命令行交互的黑盒子而是一个拥有标准HTTP接口、可以被任何编程语言调用的服务了。你可以轻松地把它集成到你的网站、移动应用或者自动化流程中。下次当你需要为其他AI服务封装接口时这套从设计、实现到测试的流程完全可以照搬过来。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。