Kimi-VL-A3B-Thinking Chainlit定制化开发添加历史记录/多用户会话/图片标注功能1. 项目背景与模型介绍Kimi-VL-A3B-Thinking是一款基于混合专家架构(MoE)的开源视觉语言模型(VLM)在多模态推理和长上下文理解方面表现出色。该模型仅激活2.8B参数就能达到与更大规模模型相当的性能。核心优势支持128K超长上下文窗口原生分辨率视觉编码器(MoonViT)在MMMU、MathVista等专业评测中表现优异通过CoT监督微调和强化学习获得强大的推理能力我们使用vLLM部署了该模型并基于Chainlit框架开发了交互式前端界面。本文将重点介绍如何在该框架基础上实现三个实用功能扩展。2. 环境准备与基础部署2.1 模型服务验证部署完成后可以通过以下命令检查服务状态cat /root/workspace/llm.log成功部署后日志会显示模型加载完成信息包括显存占用和API服务端口。2.2 Chainlit基础调用Chainlit是一个专为AI应用设计的Python框架可以快速构建交互式界面。基础调用代码如下import chainlit as cl from vllm import LLM, SamplingParams cl.on_message async def main(message: cl.Message): # 初始化采样参数 sampling_params SamplingParams(temperature0.7, top_p0.9) # 调用vLLM引擎 output llm.generate([message.content], sampling_params) # 返回响应 await cl.Message(contentoutput[0].text).send()3. 功能扩展实现3.1 多用户会话管理在真实应用场景中需要支持多用户同时使用且会话隔离。我们通过Chainlit的用户会话机制实现from collections import defaultdict # 存储各用户对话历史 user_sessions defaultdict(list) cl.on_chat_start async def start_chat(): user_session cl.user_session.get(user) if user_session not in user_sessions: user_sessions[user_session] []3.2 对话历史记录功能为提升用户体验我们添加了对话历史记录和查看功能cl.action_callback(show_history) async def show_history(action): history user_sessions.get(cl.user_session.get(user), []) history_text \n.join([fQ: {q}\nA: {a} for q, a in history]) await cl.Message(contentf对话历史:\n{history_text}).send() cl.on_message async def main(message: cl.Message): # 存储当前对话 user_id cl.user_session.get(user) user_sessions[user_id].append((message.content, response)) # 添加历史查看按钮 actions [cl.Action(nameshow_history, valueclick, label查看历史)] await cl.Message(contentresponse, actionsactions).send()3.3 图片标注功能增强针对视觉问答场景我们扩展了图片标注能力from PIL import Image, ImageDraw import io cl.on_message async def handle_image(message: cl.Message): if message.elements: for element in message.elements: if image in element.mime: # 读取上传的图片 img Image.open(io.BytesIO(element.content)) # 调用视觉模型处理 visual_output process_image(img) # 在图片上添加标注 draw ImageDraw.Draw(img) for obj in visual_output[objects]: draw.rectangle(obj[bbox], outlinered, width3) draw.text(obj[bbox][:2], obj[label], fillred) # 返回标注后的图片 buffered io.BytesIO() img.save(buffered, formatPNG) await cl.Message( content图片分析结果, elements[cl.Image(name标注结果, contentbuffered.getvalue())] ).send()4. 部署与测试4.1 完整应用部署将上述功能整合后的完整应用可以通过以下命令启动chainlit run app.py -w --port 80004.2 功能测试流程多用户测试在不同浏览器或隐身窗口打开多个界面确认各会话历史独立存储历史记录测试进行多轮对话点击查看历史按钮验证记录完整性图片标注测试上传包含文字的图片验证标注框和识别结果的准确性5. 总结与展望通过本次扩展开发我们在Kimi-VL-A3B-Thinking的Chainlit前端中实现了三个关键功能多用户隔离支持并发用户访问数据完全隔离历史记录完整保存对话上下文提升用户体验图片标注增强视觉交互能力直观展示分析结果这些改进使模型在实际业务场景中的可用性大幅提升。未来可以考虑进一步扩展支持对话历史导出添加多模态文件上传处理实现基于角色的访问控制获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。