ERNIE-4.5-0.3B-PT Chainlit定制添加用户身份识别与个性化回复策略1. 项目背景与目标今天我们来聊聊如何给ERNIE-4.5-0.3B-PT模型加上用户身份识别和个性化回复功能。想象一下你的AI助手能记住每个用户的偏好给出量身定制的回答是不是很酷这个项目基于vLLM部署的ERNIE-4.5-0.3B-PT文本生成模型配合Chainlit前端界面。我们将通过一些简单的代码修改让这个组合具备用户识别和个性化回复的能力。为什么要做这个因为通用的AI回复虽然准确但缺乏个性。加上用户识别后系统可以记住不同用户的对话历史根据用户偏好调整回复风格提供更贴心的个性化服务2. 环境准备与快速部署2.1 检查模型部署状态首先确保你的ERNIE-4.5-0.3B-PT模型已经通过vLLM成功部署。打开终端运行cat /root/workspace/llm.log如果看到模型加载成功的日志信息说明部署正常。通常你会看到类似Model loaded successfully或Server started on port xxxx这样的提示。2.2 Chainlit前端准备确保Chainlit前端可以正常访问。在浏览器中打开Chainlit界面你应该能看到一个简洁的聊天窗口。如果还没部署Chainlit可以用这个简单命令安装pip install chainlit3. 用户身份识别功能实现3.1 基本的用户识别方案最简单的用户识别可以通过登录系统实现。我们在Chainlit中添加一个简单的用户认证import chainlit as cl from chainlit.input_widget import TextInput import uuid # 用户数据库实际项目中应该用真正的数据库 user_db {} cl.on_chat_start async def start_chat(): # 请求用户输入用户名 settings await cl.ChatSettings( [ TextInput( idusername, label请输入您的用户名, initial匿名用户 ) ] ).send() # 存储用户信息 user_id str(uuid.uuid4()) user_db[user_id] { username: settings[username], preferences: {}, chat_history: [] } # 将用户ID存入会话状态 cl.user_session.set(user_id, user_id) await cl.Message(f欢迎 {settings[username]}已为您创建个性化会话。).send()3.2 基于Cookie的持久化识别对于更持久的用户识别我们可以使用浏览器Cookiecl.on_chat_start async def handle_chat_start(): # 检查是否有现有的用户ID Cookie user_id cl.user_session.get(http_context).get(cookies, {}).get(user_id) if not user_id: # 生成新用户ID并设置Cookie user_id str(uuid.uuid4()) cl.user_session.set(http_context, { cookies: {user_id: user_id}, headers: {} }) # 获取或创建用户档案 if user_id not in user_db: user_db[user_id] { username: f用户{user_id[:8]}, preferences: {}, chat_history: [] } cl.user_session.set(user_id, user_id)4. 个性化回复策略实现4.1 用户偏好学习与记忆让系统学习用户偏好其实很简单就是记住用户的选择和反馈cl.on_message async def handle_message(message: cl.Message): user_id cl.user_session.get(user_id) user_data user_db[user_id] # 记录对话历史 user_data[chat_history].append({ role: user, content: message.content, timestamp: datetime.now().isoformat() }) # 分析用户消息中的偏好提示 preference_keywords { 简单点: concise, 详细些: detailed, 专业点: professional, 幽默些: humorous } for keyword, preference in preference_keywords.items(): if keyword in message.content: user_data[preferences][style] preference break # 生成个性化回复 personalized_prompt build_personalized_prompt( message.content, user_data[preferences] ) # 调用ERNIE模型这里需要你的实际模型调用代码 response await call_ernie_model(personalized_prompt) # 记录AI回复 user_data[chat_history].append({ role: assistant, content: response, timestamp: datetime.now().isoformat() }) await cl.Message(contentresponse).send()4.2 个性化提示词构建这是实现个性化回复的核心逻辑def build_personalized_prompt(user_message, user_preferences): style_mapping { concise: 请用简洁的语言回答直接给出核心信息。, detailed: 请提供详细解释包括背景信息和相关细节。, professional: 请使用专业术语和正式语气进行回答。, humorous: 请用幽默风趣的方式回答可以适当加入笑话或俏皮话。 } style_instruction style_mapping.get( user_preferences.get(style, detailed), 请提供详细解释包括背景信息和相关细节。 ) # 构建个性化提示词 prompt f 你是一个智能助手正在与用户对话。 {style_instruction} 当前用户的消息是{user_message} 请生成合适的回复 return prompt5. 完整实现示例5.1 完整的Chainlit应用代码这是一个完整的示例展示了如何将用户识别和个性化回复整合到一起import chainlit as cl from chainlit.input_widget import TextInput import uuid from datetime import datetime # 模拟用户数据库 user_db {} def call_ernie_model(prompt): 这里应该替换为实际的ERNIE模型调用代码 目前返回模拟响应 # 实际项目中这里应该调用vLLM部署的ERNIE模型 return f这是对提示词{prompt[:50]}...的模拟响应 cl.on_chat_start async def init_chat(): settings await cl.ChatSettings( [ TextInput( idusername, label如何称呼您, initial新朋友 ) ] ).send() user_id str(uuid.uuid4()) username settings[username] user_db[user_id] { username: username, preferences: {style: detailed}, chat_history: [], created_at: datetime.now().isoformat() } cl.user_session.set(user_id, user_id) await cl.Message(f您好 {username}我已记住您的偏好将为您提供个性化服务。).send() cl.on_message async def handle_message(message: cl.Message): user_id cl.user_session.get(user_id) user_data user_db.get(user_id, {}) # 更新对话历史 if chat_history not in user_data: user_data[chat_history] [] user_data[chat_history].append({ role: user, content: message.content, time: datetime.now().strftime(%H:%M:%S) }) # 分析用户偏好 content_lower message.content.lower() if 简单点 in content_lower: user_data[preferences][style] concise elif 详细 in content_lower: user_data[preferences][style] detailed elif 专业 in content_lower: user_data[preferences][style] professional elif 幽默 in content_lower: user_data[preferences][style] humorous # 构建个性化提示词 prompt build_personalized_prompt(message.content, user_data[preferences]) # 调用模型 response call_ernie_model(prompt) # 记录并发送回复 user_data[chat_history].append({ role: assistant, content: response, time: datetime.now().strftime(%H:%M:%S) }) await cl.Message(contentresponse).send() def build_personalized_prompt(user_message, preferences): style preferences.get(style, detailed) style_instructions { concise: 请用最简洁的语言回答直接给出核心结论不要多余解释。, detailed: 请提供详细解答包括背景信息、原因分析和相关细节。, professional: 请使用专业术语和正式语气提供准确可靠的信息。, humorous: 请用幽默风趣的方式回答可以加入适当的笑话和俏皮话。 } instruction style_instructions.get(style, style_instructions[detailed]) return f 根据用户偏好生成回复 {instruction} 用户消息{user_message} 请生成合适的回复 5.2 部署与测试保存上面的代码为app.py然后运行chainlit run app.py -w打开浏览器访问显示的地址你就可以测试个性化聊天功能了。试试对不同风格偏好说类似请用简单的方式解释这样的话看看回复风格的变化。6. 进阶功能与优化建议6.1 持久化存储实际项目中你应该使用数据库来存储用户信息# 使用SQLite示例 import sqlite3 def init_db(): conn sqlite3.connect(users.db) c conn.cursor() c.execute( CREATE TABLE IF NOT EXISTS users ( id TEXT PRIMARY KEY, username TEXT, preferences TEXT, chat_history TEXT, created_at TEXT ) ) conn.commit() conn.close() def save_user_data(user_id, data): conn sqlite3.connect(users.db) c conn.cursor() c.execute( INSERT OR REPLACE INTO users (id, username, preferences, chat_history, created_at) VALUES (?, ?, ?, ?, ?) , ( user_id, data[username], json.dumps(data[preferences]), json.dumps(data[chat_history]), data[created_at] )) conn.commit() conn.close()6.2 多维度个性化除了回复风格你还可以考虑更多个性化维度# 在用户数据结构中添加更多偏好维度 user_data { username: 用户, preferences: { style: detailed, # 回复风格 detail_level: medium, # 详细程度 formality: casual, # 正式程度 topics: [] # 感兴趣的话题 }, chat_history: [] }6.3 隐私与安全考虑在实际部署时记得考虑用户隐私对用户数据进行加密存储提供隐私政策说明允许用户删除个人数据遵守相关数据保护法规7. 总结通过本文的介绍你已经学会了如何为ERNIE-4.5-0.3B-PT模型添加用户身份识别和个性化回复功能。关键点包括用户识别通过Chainlit的会话管理或Cookie实现用户身份识别偏好学习从用户对话中自动提取风格偏好个性化提示根据用户偏好构建定制化的提示词持久化存储使用数据库保存用户数据和对话历史这种个性化方法不仅能让AI对话更加贴心还能显著提升用户体验。你可以在此基础上继续扩展比如添加更多个性化维度、实现更复杂的偏好学习算法或者整合用户反馈机制。记住最好的个性化是让用户感觉被理解和重视而不是被算法操控。保持透明尊重用户选择你的AI应用会更加受欢迎。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。