文墨共鸣大模型快速开发:.NET后端集成与API封装

news2026/3/15 2:07:30
文墨共鸣大模型快速开发.NET后端集成与API封装最近在做一个需要集成大语言模型的项目后端用的是.NET技术栈。市面上很多教程都是Python的对.NET开发者不太友好。其实用ASP.NET Core来封装大模型调用既简单又高效还能很好地融入现有的微服务架构。今天我就结合自己的实践聊聊怎么在ASP.NET Core Web API项目里优雅地集成文墨共鸣这类大模型服务重点是实现稳定、可维护的HTTP调用和酷炫的流式响应。1. 项目准备与环境搭建在开始写代码之前得先把基础环境准备好。这个过程不复杂跟着步骤走就行。1.1 创建项目与安装包首先打开Visual Studio或者直接用.NET CLI创建一个新的ASP.NET Core Web API项目。我习惯用CLI命令简单明了dotnet new webapi -n AILanguageService cd AILanguageService创建好项目后需要安装几个必要的NuGet包。主要用到的是Microsoft.Extensions.Http它提供了HttpClientFactory这是管理HTTP客户端生命周期的“神器”能有效避免端口耗尽和DNS刷新问题。直接在项目目录下运行dotnet add package Microsoft.Extensions.Http如果你的项目模板没有包含System.Text.Json现在新模板一般都自带了也可以确认一下它是我们处理JSON序列化的核心。1.2 获取模型服务配置要调用文墨共鸣的服务你需要有相应的访问凭证。这通常包括API Base Url服务的基础地址比如https://api.example.com/v1。API Key用于身份验证的密钥。这些信息一般在你申请使用服务后由服务提供商提供。千万不要把这些敏感信息硬编码在代码里接下来我们就把它放到安全的地方。1.3 配置模型服务参数在appsettings.json文件里添加一个配置节来存放这些信息。这样以后要修改或者区分开发、生产环境就非常方便。{ Logging: { ... }, AllowedHosts: *, AiModelService: { BaseUrl: YOUR_API_BASE_URL_HERE, ApiKey: YOUR_API_KEY_HERE, ModelName: wenmo-resonance, // 或其他具体模型名称 TimeoutSeconds: 30 } }配置好了怎么在代码里用呢我们用一个简单的类来映射这些配置。2. 核心服务层设计与实现这部分是重头戏我们要设计一个健壮的服务层来处理所有与大模型的通信逻辑。2.1 定义配置与请求响应模型先创建一个AiModelOptions.cs类用来强类型地读取配置namespace AILanguageService.Configs { public class AiModelOptions { public const string SectionName AiModelService; public string BaseUrl { get; set; } string.Empty; public string ApiKey { get; set; } string.Empty; public string ModelName { get; set; } string.Empty; public int TimeoutSeconds { get; set; } 30; } }接着定义我们调用模型时发送的请求体。这需要根据文墨共鸣API的实际要求来定一个典型的对话请求可能长这样namespace AILanguageService.Models.Requests { public class ChatCompletionRequest { public string Model { get; set; } string.Empty; public ListMessage Messages { get; set; } new(); public bool Stream { get; set; } false; // 其他可选参数如 Temperature, MaxTokens等 public float? Temperature { get; set; } public int? MaxTokens { get; set; } } public class Message { public string Role { get; set; } string.Empty; // system, user, assistant public string Content { get; set; } string.Empty; } }然后定义API返回的响应模型。对于流式和非流式响应结构可能不同。namespace AILanguageService.Models.Responses { // 非流式响应 public class ChatCompletionResponse { public string Id { get; set; } string.Empty; public ListChoice Choices { get; set; } new(); // ... 其他字段 } public class Choice { public Message Message { get; set; } new(); // ... 其他字段 } // 流式响应块 (Server-Sent Events 格式) public class ChatCompletionStreamResponse { public string Id { get; set; } string.Empty; public ListStreamChoice Choices { get; set; } new(); } public class StreamChoice { public Delta Delta { get; set; } new(); } public class Delta { public string Content { get; set; } string.Empty; } }2.2 实现HTTP客户端服务这是核心中的核心。我们创建一个AiModelService.cs利用HttpClientFactory来发送请求。using System.Net.Http.Headers; using System.Text; using System.Text.Json; using AILanguageService.Configs; using AILanguageService.Models.Requests; using AILanguageService.Models.Responses; using Microsoft.Extensions.Options; namespace AILanguageService.Services { public interface IAiModelService { TaskChatCompletionResponse GetChatCompletionAsync(ChatCompletionRequest request, CancellationToken ct default); IAsyncEnumerablestring StreamChatCompletionAsync(ChatCompletionRequest request, CancellationToken ct default); } public class AiModelService : IAiModelService { private readonly HttpClient _httpClient; private readonly AiModelOptions _options; private readonly JsonSerializerOptions _jsonOptions; private readonly ILoggerAiModelService _logger; public AiModelService(HttpClient httpClient, IOptionsAiModelOptions options, ILoggerAiModelService logger) { _httpClient httpClient; _options options.Value; _logger logger; // 配置HttpClient _httpClient.BaseAddress new Uri(_options.BaseUrl); _httpClient.DefaultRequestHeaders.Authorization new AuthenticationHeaderValue(Bearer, _options.ApiKey); _httpClient.Timeout TimeSpan.FromSeconds(_options.TimeoutSeconds); _jsonOptions new JsonSerializerOptions { PropertyNamingPolicy JsonNamingPolicy.CamelCase }; } public async TaskChatCompletionResponse GetChatCompletionAsync(ChatCompletionRequest request, CancellationToken ct default) { // 确保使用配置中的模型名 request.Model _options.ModelName; var jsonContent JsonSerializer.Serialize(request, _jsonOptions); using var httpContent new StringContent(jsonContent, Encoding.UTF8, application/json); try { var response await _httpClient.PostAsync(chat/completions, httpContent, ct); response.EnsureSuccessStatusCode(); var responseJson await response.Content.ReadAsStringAsync(ct); var result JsonSerializer.DeserializeChatCompletionResponse(responseJson, _jsonOptions); return result ?? throw new InvalidOperationException(Failed to deserialize response.); } catch (HttpRequestException ex) { _logger.LogError(ex, HTTP request failed during chat completion.); throw new ServiceException(AI model service request failed., ex); } } // 流式响应方法在下一节详细展开 public async IAsyncEnumerablestring StreamChatCompletionAsync(ChatCompletionRequest request, [EnumeratorCancellation] CancellationToken ct default) { // 先留个空下面专门讲 yield break; } } public class ServiceException : Exception { public ServiceException(string message, Exception innerException) : base(message, innerException) { } } }这里有几个关键点依赖注入通过构造函数注入配置好的HttpClient、IOptionsAiModelOptions和ILogger。集中配置在构造函数中一次性配置HttpClient的基地址、认证头和超时时间。错误处理捕获HttpRequestException记录日志并抛出自定义的业务异常方便上层统一处理。JSON序列化使用System.Text.Json并统一命名策略为驼峰式确保与大多数API兼容。2.3 实现异步流式响应让API像ChatGPT一样一个字一个字地返回体验会好很多。这依赖于服务端发送事件Server-Sent Events, SSE技术。在.NET中我们可以用IAsyncEnumerablestring来优雅地实现。更新上面的StreamChatCompletionAsync方法public async IAsyncEnumerablestring StreamChatCompletionAsync(ChatCompletionRequest request, [EnumeratorCancellation] CancellationToken ct default) { request.Model _options.ModelName; request.Stream true; // 关键开启流式 var jsonContent JsonSerializer.Serialize(request, _jsonOptions); using var httpContent new StringContent(jsonContent, Encoding.UTF8, application/json); using var response await _httpClient.PostAsync(chat/completions, httpContent, HttpCompletionOption.ResponseHeadersRead, ct); response.EnsureSuccessStatusCode(); using var stream await response.Content.ReadAsStreamAsync(ct); using var reader new StreamReader(stream); while (!reader.EndOfStream !ct.IsCancellationRequested) { var line await reader.ReadLineAsync(ct); if (string.IsNullOrEmpty(line) || !line.StartsWith(data: )) { continue; } var eventData line[data: .Length..]; if (eventData [DONE]) { yield break; // 流结束 } try { var streamBlock JsonSerializer.DeserializeChatCompletionStreamResponse(eventData, _jsonOptions); var content streamBlock?.Choices?.FirstOrDefault()?.Delta?.Content; if (!string.IsNullOrEmpty(content)) { yield return content; } } catch (JsonException ex) { _logger.LogWarning(ex, Failed to deserialize a stream block: {Data}, eventData); // 可以选择忽略单个错误块继续读取 } } }这个方法做了几件事设置request.Stream true告诉API我们需要流式响应。使用HttpCompletionOption.ResponseHeadersRead使得请求一收到响应头就开始读取流而不是等整个响应体下载完。逐行读取响应流识别SSE格式的data:前缀。解析每一块JSON数据提取出content字段并yield return出去。遇到[DONE]事件或流结束则终止枚举。3. 配置依赖注入与控制器封装服务写好了怎么让它跑起来呢需要在Program.cs或Startup.cs里进行配置。3.1 注册服务与配置打开Program.cs文件添加以下代码using AILanguageService.Configs; using AILanguageService.Services; var builder WebApplication.CreateBuilder(args); // 添加服务到容器 builder.Services.AddControllers(); builder.Services.AddEndpointsApiExplorer(); builder.Services.AddSwaggerGen(); // 可选方便API测试 // 1. 配置AiModelOptions builder.Services.ConfigureAiModelOptions( builder.Configuration.GetSection(AiModelOptions.SectionName)); // 2. 配置命名的HttpClient并将其生命周期设置为Transient或Scoped builder.Services.AddHttpClientIAiModelService, AiModelService() .ConfigureHttpClient((serviceProvider, client) { // 配置已在AiModelService构造函数中完成此处可进行额外全局配置 // 例如client.DefaultRequestHeaders.Add(User-Agent, MyAIService); }) .SetHandlerLifetime(TimeSpan.FromMinutes(5)); // 设置Handler生命周期 // 3. 注册业务服务AddHttpClient已经注册了AiModelService这里通常不需要再单独AddScoped // builder.Services.AddScopedIAiModelService, AiModelService(); // 通常不需要 var app builder.Build(); // 配置HTTP请求管道 if (app.Environment.IsDevelopment()) { app.UseSwagger(); app.UseSwaggerUI(); } app.UseHttpsRedirection(); app.UseAuthorization(); app.MapControllers(); app.Run();通过AddHttpClientIAiModelService, AiModelService()我们完成了两件事注册了IAiModelService及其实现并为这个实现配置了一个专用的HttpClient实例。3.2 创建API控制器现在创建一个Web API控制器来暴露给前端调用。我们设计两个端点一个用于普通响应一个用于流式响应。using AILanguageService.Models.Requests; using AILanguageService.Services; using Microsoft.AspNetCore.Mvc; namespace AILanguageService.Controllers { [ApiController] [Route(api/[controller])] public class ChatController : ControllerBase { private readonly IAiModelService _aiModelService; private readonly ILoggerChatController _logger; public ChatController(IAiModelService aiModelService, ILoggerChatController logger) { _aiModelService aiModelService; _logger logger; } [HttpPost(completion)] public async TaskIActionResult GetCompletion([FromBody] ChatCompletionRequest request) { if (request null || !request.Messages.Any()) { return BadRequest(Request or messages cannot be empty.); } try { var response await _aiModelService.GetChatCompletionAsync(request); return Ok(response); } catch (ServiceException ex) { _logger.LogError(ex, Error getting chat completion.); return StatusCode(502, Upstream service error.); // Bad Gateway } catch (Exception ex) { _logger.LogError(ex, Unexpected error in chat completion.); return StatusCode(500, Internal server error.); } } [HttpPost(completion/stream)] public async Task StreamCompletion([FromBody] ChatCompletionRequest request, CancellationToken ct) { if (request null || !request.Messages.Any()) { Response.StatusCode 400; await Response.WriteAsync(Request or messages cannot be empty., ct); return; } Response.ContentType text/event-stream; Response.Headers.CacheControl no-cache; Response.Headers.Connection keep-alive; try { await foreach (var chunk in _aiModelService.StreamChatCompletionAsync(request, ct).WithCancellation(ct)) { // 按照SSE格式返回data: {chunk}\n\n var sseData $data: {JsonSerializer.Serialize(new { content chunk })}\n\n; await Response.WriteAsync(sseData, ct); await Response.Body.FlushAsync(ct); // 立即刷新确保数据发送到客户端 } // 发送结束标记 await Response.WriteAsync(data: [DONE]\n\n, ct); await Response.Body.FlushAsync(ct); } catch (OperationCanceledException) { _logger.LogInformation(Streaming was cancelled by the client.); } catch (Exception ex) { _logger.LogError(ex, Error during streaming chat completion.); // 可以尝试发送一个错误事件但连接可能已中断 } } } }流式端点特别注意ContentType设置为text/event-stream。使用Response.Body.FlushAsync()确保数据块立即发送而不是缓冲。妥善处理CancellationToken以便在客户端断开连接时能及时取消。4. 运行测试与进阶技巧代码写完了我们来试试看效果如何。4.1 运行与测试项目在项目根目录下运行dotnet run或者直接在IDE里启动。应用启动后通常会打开Swagger页面如果你配置了的话地址是https://localhost:xxxx/swagger。测试普通接口 (/api/chat/completion) 在Swagger UI或Postman中发送一个POST请求{ messages: [ { role: user, content: 用一句话介绍.NET } ] }你应该会收到一个完整的JSON响应。测试流式接口 (/api/chat/completion/stream) 这个不能用普通的Swagger UI测试需要使用支持SSE的客户端。你可以用curl命令curl -X POST https://localhost:xxxx/api/chat/completion/stream \ -H Content-Type: application/json \ -d {messages:[{role:user,content:用一句话介绍.NET}]} \ -N或者写一个简单的前端HTML页面使用EventSourceAPI来接收数据。看到文字一个一个地“流”回来感觉就对了。4.2 进阶优化与建议在实际项目中你可能还需要考虑以下几点重试与熔断网络请求可能失败。可以使用Polly这样的库为HttpClient添加重试、超时和熔断策略。builder.Services.AddHttpClientIAiModelService, AiModelService() .AddTransientHttpErrorPolicy(policy policy.WaitAndRetryAsync(3, _ TimeSpan.FromSeconds(2))) .AddPolicyHandler(Policy.TimeoutAsyncHttpResponseMessage(TimeSpan.FromSeconds(10)));响应模型统一封装为前端提供更统一的响应格式比如包含code、message、data的标准结构。可以在控制器里封装也可以用中间件统一处理。请求限流与配额管理如果调用的是付费API需要在服务层或中间件里加入请求频率和配额的控制避免意外超支。更完善的错误处理区分不同的错误类型如认证失败、额度不足、模型不可用等并返回更精确的HTTP状态码和错误信息。日志与监控记录详细的请求和响应日志注意脱敏API Key并集成到APM如Application Insights中监控服务的健康度和性能。5. 总结走完这一套流程你会发现用ASP.NET Core集成大模型API并没有想象中复杂。核心思路就是利用好HttpClientFactory来管理HTTP客户端用强类型模型来序列化/反序列化数据再用IAsyncEnumerable来支持流式响应最后通过依赖注入优雅地组织起来。这样做的好处很明显代码结构清晰易于测试和维护能很好地利用.NET生态中的各种库如Polly、Serilog等来增强稳定性。流式响应的实现让前端用户体验大幅提升感觉更“智能”了。在实际开发中你可以根据文墨共鸣API的具体文档调整请求和响应的模型结构。把这个基础框架搭好之后增加新的模型端点或者功能就非常快了。希望这个指南能帮你快速上手把大模型的能力顺畅地融入到你的.NET应用里。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2413100.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

SpringBoot-17-MyBatis动态SQL标签之常用标签

文章目录 1 代码1.1 实体User.java1.2 接口UserMapper.java1.3 映射UserMapper.xml1.3.1 标签if1.3.2 标签if和where1.3.3 标签choose和when和otherwise1.4 UserController.java2 常用动态SQL标签2.1 标签set2.1.1 UserMapper.java2.1.2 UserMapper.xml2.1.3 UserController.ja…

wordpress后台更新后 前端没变化的解决方法

使用siteground主机的wordpress网站,会出现更新了网站内容和修改了php模板文件、js文件、css文件、图片文件后,网站没有变化的情况。 不熟悉siteground主机的新手,遇到这个问题,就很抓狂,明明是哪都没操作错误&#x…

网络编程(Modbus进阶)

思维导图 Modbus RTU(先学一点理论) 概念 Modbus RTU 是工业自动化领域 最广泛应用的串行通信协议,由 Modicon 公司(现施耐德电气)于 1979 年推出。它以 高效率、强健性、易实现的特点成为工业控制系统的通信标准。 包…

UE5 学习系列(二)用户操作界面及介绍

这篇博客是 UE5 学习系列博客的第二篇,在第一篇的基础上展开这篇内容。博客参考的 B 站视频资料和第一篇的链接如下: 【Note】:如果你已经完成安装等操作,可以只执行第一篇博客中 2. 新建一个空白游戏项目 章节操作,重…

IDEA运行Tomcat出现乱码问题解决汇总

最近正值期末周,有很多同学在写期末Java web作业时,运行tomcat出现乱码问题,经过多次解决与研究,我做了如下整理: 原因: IDEA本身编码与tomcat的编码与Windows编码不同导致,Windows 系统控制台…

利用最小二乘法找圆心和半径

#include <iostream> #include <vector> #include <cmath> #include <Eigen/Dense> // 需安装Eigen库用于矩阵运算 // 定义点结构 struct Point { double x, y; Point(double x_, double y_) : x(x_), y(y_) {} }; // 最小二乘法求圆心和半径 …

使用docker在3台服务器上搭建基于redis 6.x的一主两从三台均是哨兵模式

一、环境及版本说明 如果服务器已经安装了docker,则忽略此步骤,如果没有安装,则可以按照一下方式安装: 1. 在线安装(有互联网环境): 请看我这篇文章 传送阵>> 点我查看 2. 离线安装(内网环境):请看我这篇文章 传送阵>> 点我查看 说明&#xff1a;假设每台服务器已…

XML Group端口详解

在XML数据映射过程中&#xff0c;经常需要对数据进行分组聚合操作。例如&#xff0c;当处理包含多个物料明细的XML文件时&#xff0c;可能需要将相同物料号的明细归为一组&#xff0c;或对相同物料号的数量进行求和计算。传统实现方式通常需要编写脚本代码&#xff0c;增加了开…

LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器的上位机配置操作说明

LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器专为工业环境精心打造&#xff0c;完美适配AGV和无人叉车。同时&#xff0c;集成以太网与语音合成技术&#xff0c;为各类高级系统&#xff08;如MES、调度系统、库位管理、立库等&#xff09;提供高效便捷的语音交互体验。 L…

(LeetCode 每日一题) 3442. 奇偶频次间的最大差值 I (哈希、字符串)

题目&#xff1a;3442. 奇偶频次间的最大差值 I 思路 &#xff1a;哈希&#xff0c;时间复杂度0(n)。 用哈希表来记录每个字符串中字符的分布情况&#xff0c;哈希表这里用数组即可实现。 C版本&#xff1a; class Solution { public:int maxDifference(string s) {int a[26]…

【大模型RAG】拍照搜题技术架构速览:三层管道、两级检索、兜底大模型

摘要 拍照搜题系统采用“三层管道&#xff08;多模态 OCR → 语义检索 → 答案渲染&#xff09;、两级检索&#xff08;倒排 BM25 向量 HNSW&#xff09;并以大语言模型兜底”的整体框架&#xff1a; 多模态 OCR 层 将题目图片经过超分、去噪、倾斜校正后&#xff0c;分别用…

【Axure高保真原型】引导弹窗

今天和大家中分享引导弹窗的原型模板&#xff0c;载入页面后&#xff0c;会显示引导弹窗&#xff0c;适用于引导用户使用页面&#xff0c;点击完成后&#xff0c;会显示下一个引导弹窗&#xff0c;直至最后一个引导弹窗完成后进入首页。具体效果可以点击下方视频观看或打开下方…

接口测试中缓存处理策略

在接口测试中&#xff0c;缓存处理策略是一个关键环节&#xff0c;直接影响测试结果的准确性和可靠性。合理的缓存处理策略能够确保测试环境的一致性&#xff0c;避免因缓存数据导致的测试偏差。以下是接口测试中常见的缓存处理策略及其详细说明&#xff1a; 一、缓存处理的核…

龙虎榜——20250610

上证指数放量收阴线&#xff0c;个股多数下跌&#xff0c;盘中受消息影响大幅波动。 深证指数放量收阴线形成顶分型&#xff0c;指数短线有调整的需求&#xff0c;大概需要一两天。 2025年6月10日龙虎榜行业方向分析 1. 金融科技 代表标的&#xff1a;御银股份、雄帝科技 驱动…

观成科技:隐蔽隧道工具Ligolo-ng加密流量分析

1.工具介绍 Ligolo-ng是一款由go编写的高效隧道工具&#xff0c;该工具基于TUN接口实现其功能&#xff0c;利用反向TCP/TLS连接建立一条隐蔽的通信信道&#xff0c;支持使用Let’s Encrypt自动生成证书。Ligolo-ng的通信隐蔽性体现在其支持多种连接方式&#xff0c;适应复杂网…

铭豹扩展坞 USB转网口 突然无法识别解决方法

当 USB 转网口扩展坞在一台笔记本上无法识别,但在其他电脑上正常工作时,问题通常出在笔记本自身或其与扩展坞的兼容性上。以下是系统化的定位思路和排查步骤,帮助你快速找到故障原因: 背景: 一个M-pard(铭豹)扩展坞的网卡突然无法识别了,扩展出来的三个USB接口正常。…

未来机器人的大脑:如何用神经网络模拟器实现更智能的决策?

编辑&#xff1a;陈萍萍的公主一点人工一点智能 未来机器人的大脑&#xff1a;如何用神经网络模拟器实现更智能的决策&#xff1f;RWM通过双自回归机制有效解决了复合误差、部分可观测性和随机动力学等关键挑战&#xff0c;在不依赖领域特定归纳偏见的条件下实现了卓越的预测准…

Linux应用开发之网络套接字编程(实例篇)

服务端与客户端单连接 服务端代码 #include <sys/socket.h> #include <sys/types.h> #include <netinet/in.h> #include <stdio.h> #include <stdlib.h> #include <string.h> #include <arpa/inet.h> #include <pthread.h> …

华为云AI开发平台ModelArts

华为云ModelArts&#xff1a;重塑AI开发流程的“智能引擎”与“创新加速器”&#xff01; 在人工智能浪潮席卷全球的2025年&#xff0c;企业拥抱AI的意愿空前高涨&#xff0c;但技术门槛高、流程复杂、资源投入巨大的现实&#xff0c;却让许多创新构想止步于实验室。数据科学家…

深度学习在微纳光子学中的应用

深度学习在微纳光子学中的主要应用方向 深度学习与微纳光子学的结合主要集中在以下几个方向&#xff1a; 逆向设计 通过神经网络快速预测微纳结构的光学响应&#xff0c;替代传统耗时的数值模拟方法。例如设计超表面、光子晶体等结构。 特征提取与优化 从复杂的光学数据中自…