1. 从零到一AI应用开发者的工具箱革命如果你是一名开发者最近几个月可能和我有同样的感受每天打开技术社区满屏都是关于ChatGPT、LangChain、Semantic Kernel这些新工具的讨论。一开始我也觉得这不过是又一个技术热点但当我真正开始用这些工具来重构手头的项目时才发现事情没那么简单。这不仅仅是多了一个API可以调用而是一场关于“如何构建软件”的思维范式转移。过去我们写代码来定义明确的逻辑现在我们更多地是在“引导”和“组织”AI的能力让它们来完成那些传统编程难以清晰界定的任务比如理解自然语言、进行开放式推理、从海量文档中精准提取信息。这门LinkedIn Learning课程《Building Apps with AI Tools: ChatGPT, Semantic Kernel, and Langchain》恰好提供了一个绝佳的实践入口。它没有停留在理论层面而是直接带你上手用代码把想法变成现实。课程的核心就是教你如何将ChatGPT的对话能力、Semantic Kernel的编排技巧以及LangChain的模块化设计像拼乐高一样组合起来构建出真正智能的应用程序。无论是想给现有产品增加一个智能客服入口还是开发一个能理解你所有文档的个人知识库助手这套工具组合都能为你提供清晰的实现路径。接下来我会结合课程内容与我的实际开发经验为你深入拆解这三个核心工具并分享一套从环境搭建到项目上线的完整实操指南。2. 核心工具选型与定位解析在开始动手之前我们必须先理清这三个工具各自扮演的角色以及它们之间的协作关系。盲目地混用只会让项目架构变得混乱。我的理解是它们分别对应着AI应用开发的三个不同层次能力基座、逻辑编排和功能组件。2.1 ChatGPT API你的智能“大脑”ChatGPT API这里主要指OpenAI提供的GPT系列模型接口是整个技术栈的基石。它不是一个可以下载运行的软件而是一个通过网络调用的服务。你可以把它想象成一个拥有庞大数据和复杂神经网络的黑箱你输入一段文本Prompt它返回一段生成的文本Completion。它的核心价值在于提供了强大的自然语言理解与生成能力。在应用开发中我们主要利用它的几种模式对话与问答构建聊天机器人、智能客服的核心。内容生成与转换自动撰写邮件、总结文章、翻译文本、转换代码风格。代码生成与解释根据注释生成代码片段或者解释一段复杂代码的功能。结构化输出通过精心设计的Prompt让模型以JSON、XML等固定格式输出方便程序后续处理。注意直接裸调用ChatGPT API虽然简单但构建复杂应用时很快就会遇到瓶颈。比如如何管理冗长的对话历史如何集成外部工具如数据库查询、计算器如何保证输出格式的稳定性这就需要更上层的框架来帮忙了。2.2 Semantic Kernel微软的智能“操作系统”Semantic KernelSK是微软开源的一个轻量级SDK它的目标是将传统编程语言如C#、Python的能力与大型语言模型LLM的“语义”能力“嫁接”起来。你可以把它理解为一个智能应用的“操作系统”或“编排引擎”。它的核心概念是“技能”和“规划器”。技能一个封装好的、可复用的功能单元。它可以是原生技能用C#或Python写的传统函数比如从数据库读取数据、调用某个Web API。语义技能由自然语言Prompt定义的、由LLM如ChatGPT来执行的函数。例如一个“总结文章”的技能其核心就是一个写好Prompt的模板。规划器这是SK的“大脑”。你给规划器一个用自然语言描述的目标例如“请查看我明天的日程然后根据天气建议我穿什么衣服”规划器会自动分析你已注册的所有技能并生成一个执行计划决定先调用哪个技能查日历再调用哪个技能查天气最后如何组合结果并生成回复。SK的优势在于其强大的编排和自动化能力。它适合构建目标驱动、需要多步骤推理和调用多种内外资源的智能代理Agent。课程中会详细展示如何用SK将ChatGPT、文本转语音Whisper等能力串联成一个流畅的自动化流程。2.3 LangChainAI应用的“乐高工具箱”LangChain是一个用于开发由语言模型驱动的应用程序的框架。如果说Semantic Kernel像一个高度集成的智能操作系统那么LangChain就更像一个模块化、可插拔的“乐高工具箱”。它提供了大量的标准化“组件”让你可以快速搭建各种AI应用。LangChain的核心抽象包括模型I/O标准化了与各种LLMOpenAI、Anthropic、本地模型等的交互方式。数据连接这是LangChain的强项。它提供了丰富的文档加载器从PDF、网页、数据库加载文本、文本分割器、以及多种向量数据库如Chroma、Pinecone的集成专门用于构建基于私有知识的问答系统。课程中“文档搜索”项目就是基于此。链将多个组件按特定顺序组合起来的工作流。比如一个经典的“检索-问答链”会先检索相关文档然后将文档和问题一起发给LLM生成答案。代理类似SK的规划器但更侧重于工具使用。代理可以根据用户输入自主决定调用哪个工具如搜索引擎、计算器、API并循环执行直到任务完成。LangChain的优势在于其生态丰富和专注数据。它有极其活跃的社区几乎每天都有新的工具和集成出现。如果你项目的核心是处理文档、构建知识库或者需要快速集成大量第三方工具LangChain通常是首选。2.4 如何选择SK vs LangChain这是初学者最常见的困惑。根据我的经验可以这样粗略划分选Semantic Kernel如果你的技术栈以微软系.NET, C#为主或者你想构建一个需要深度与现有业务逻辑C#/Python函数集成、并强调自动化规划和目标分解的复杂智能代理Agent。选LangChain如果你的项目核心是文档处理、知识库问答或者你希望使用最丰富、更新最快的生态组件快速搭建原型。它对Python的支持尤为强大。混合使用在复杂项目中两者并非互斥。例如可以用LangChain处理文档加载和向量检索然后将检索结果交给Semantic Kernel的规划器来进一步分析和执行复杂任务。课程的价值就在于分别教你掌握它们让你未来能灵活选择。3. 开发环境搭建与核心配置实战理论清晰后我们进入实战环节。一个稳定、可复现的开发环境是成功的第一步。这里我以Python环境为例因为它是AI领域最通用的语言并且课程示例也基于Python。3.1 Python与包管理工具的准备首先我强烈建议使用Miniconda或Anaconda来管理Python环境。这能完美解决不同项目间依赖包版本冲突的问题。# 1. 安装Miniconda (从官网下载) # 2. 创建一个新的conda环境指定Python版本3.8以上推荐3.10 conda create -n ai-apps python3.10 -y # 3. 激活环境 conda activate ai-apps # 4. 升级pip到最新版本 pip install --upgrade pip3.2 安装核心依赖库接下来安装课程中以及我们实际开发所需的核心库。我们可以创建一个requirements.txt文件来管理。# requirements.txt # OpenAI官方库用于调用ChatGPT API openai1.0.0 # Semantic Kernel (Python版本) semantic-kernel0.9.0 # LangChain核心库 langchain0.1.0 # LangChain社区提供的更多组件如文档加载器 langchain-community0.0.10 # 用于文本嵌入和向量化文档搜索必备 langchain-openai0.0.5 # 可选但常用的工具库 python-dotenv # 用于管理环境变量如API密钥 chromadb # 轻量级向量数据库用于本地文档检索 tiktoken # 用于计算Token数量控制成本在终端中进入项目目录执行安装pip install -r requirements.txt3.3 配置OpenAI API密钥安全第一所有工具都需要与OpenAI的模型交互因此一个有效的API密钥是必须的。绝对不要将密钥硬编码在代码中然后上传到GitHub那相当于把银行卡密码贴在网上。正确做法是使用环境变量在项目根目录创建一个名为.env的文件。在文件中写入你的密钥OPENAI_API_KEYsk-your-actual-api-key-here OPENAI_API_BASEhttps://api.openai.com/v1 # 如果你使用官方接口此项可选在代码中使用python-dotenv加载from dotenv import load_dotenv import os load_dotenv() # 加载 .env 文件中的变量到环境变量 api_key os.getenv(OPENAI_API_KEY) if not api_key: raise ValueError(请在 .env 文件中设置 OPENAI_API_KEY)务必在.gitignore文件中加入.env确保它不会被提交到版本库。实操心得除了OpenAI你也可以类似地配置其他模型的密钥如ANTHROPIC_API_KEYClaude模型或AZURE_OPENAI_API_KEYAzure OpenAI服务。使用环境变量和.env文件是管理多环境开发、测试、生产配置的最佳实践。3.4 验证环境与初步测试环境搭建好后写一个最简单的脚本来测试ChatGPT API是否连通。# test_openai.py from openai import OpenAI from dotenv import load_dotenv import os load_dotenv() client OpenAI(api_keyos.getenv(OPENAI_API_KEY)) response client.chat.completions.create( modelgpt-3.5-turbo, # 或 gpt-4 messages[ {role: system, content: 你是一个乐于助人的助手。}, {role: user, content: 用一句话介绍你自己。} ], temperature0.7, max_tokens150 ) print(response.choices[0].message.content)运行python test_openai.py如果看到返回的自我介绍恭喜你环境配置成功4. 深入Semantic Kernel构建你的第一个智能代理现在让我们聚焦于Semantic Kernel构建一个能真正“做事”的智能应用。我们将创建一个“天气穿搭助手”它不仅能查询天气还能根据天气情况给出穿搭建议。这个例子涵盖了SK的核心概念内核、插件技能和规划器。4.1 初始化内核与导入插件在SK中一切始于一个“内核”实例它是所有技能和服务的注册中心。import semantic_kernel as sk from semantic_kernel.connectors.ai.open_ai import OpenAIChatCompletion from semantic_kernel.core_plugins import TimePlugin import os from dotenv import load_dotenv load_dotenv() # 1. 初始化内核 kernel sk.Kernel() # 2. 配置AI服务这里使用OpenAI的ChatGPT api_key os.getenv(OPENAI_API_KEY) kernel.add_service(OpenAIChatCompletion(service_idchat_completion, ai_model_idgpt-3.5-turbo, api_keyapi_key)) # 3. 导入内置插件例如时间插件可以获取当前日期 kernel.import_plugin_from_object(TimePlugin(), plugin_nametime) print(Semantic Kernel 初始化成功)4.2 创建自定义语义函数技能语义函数是SK的灵魂它本质上是一个Prompt模板。我们来创建一个“穿搭建议”函数。首先在项目目录下创建一个Plugins文件夹里面再创建一个StyleAdvisor子文件夹。在StyleAdvisor文件夹中创建两个文件config.json和skprompt.txt。Plugins/StyleAdvisor/config.json:{ schema: 1, type: completion, description: 根据天气情况和场合给出穿搭建议。, completion: { max_tokens: 300, temperature: 0.7, top_p: 0.9 }, input: { parameters: [ { name: weather, description: 当前的天气状况例如晴朗、多云、下雨、下雪、气温25度。, defaultValue: }, { name: occasion, description: 要出席的场合例如日常通勤、商务会议、朋友聚会、户外运动。, defaultValue: 日常 } ] } }Plugins/StyleAdvisor/skprompt.txt:你是一位专业的时尚顾问。请根据用户提供的天气情况和场合给出具体、实用、得体的穿搭建议。 天气: {{$weather}} 场合: {{$occasion}} 请按以下格式回复 **穿搭建议** [你的核心建议] **推荐单品** [列出2-3件关键单品] **注意事项** [相关的提醒如带伞、防晒等]这个Prompt模板定义了两个输入变量weather和occasion并指示模型按特定格式输出。现在在代码中导入这个自定义插件# 4. 导入自定义语义函数插件 style_plugin kernel.import_plugin_from_prompt_directory(Plugins, StyleAdvisor) # 5. 准备调用函数 context_variables sk.ContextVariables() context_variables[weather] 晴朗气温28度紫外线强 context_variables[occasion] 周末郊游 # 6. 调用函数 result await kernel.invoke( style_plugin[Advise], # 调用名为“Advise”的函数对应skprompt.txt context_variables ) print(result) # 预期输出类似 # **穿搭建议** 选择轻薄透气的衣物注意防晒。 # **推荐单品** 棉麻衬衫、速干短裤、宽檐帽、太阳镜。 # **注意事项** 务必涂抹高倍数防晒霜并携带饮用水。4.3 集成原生函数与规划器仅有语义函数还不够强大。我们还需要一个能获取真实天气的“原生函数”。假设我们有一个简单的函数实际中你会调用天气APIimport asyncio # 模拟一个获取天气的原生函数 def get_current_weather(location: str) - str: # 这里应该调用如OpenWeatherMap的API # 为简单起见我们模拟返回 weather_data { 北京: 晴朗15度微风, 上海: 多云20度东南风3级, 深圳: 阵雨25度湿度大 } return weather_data.get(location, 未知地区天气数据获取失败。) # 将原生函数注册为插件 from semantic_kernel.plugin_definition import kernel_function class WeatherPlugin: kernel_function( nameGetWeather, description根据城市名称获取当前天气情况。 ) def get_weather(self, location: str) - str: return get_current_weather(location) kernel.import_plugin_from_object(WeatherPlugin(), plugin_nameweather)现在我们有了时间插件、穿搭建议语义插件和天气原生插件。如何让AI自动组合它们这就需要规划器。from semantic_kernel.planners import SequentialPlanner # 7. 创建并配置一个顺序规划器 planner SequentialPlanner(kernel) # 8. 给规划器一个高级目标 goal 我现在在北京今天下午要去参加一个户外公园的客户见面会请帮我规划一下着装。 # 9. 让规划器创建计划 plan await planner.create_plan_async(goal) print(生成的计划步骤) for step in plan._steps: print(f- {step.name} (插件: {step.plugin_name})) # 10. 执行计划 plan_result await plan.invoke_async(kernel) print(\n最终结果) print(plan_result)规划器会分析目标它可能会生成类似这样的计划调用time.Today获取今天日期确认时间。调用weather.GetWeather并输入“北京”获取天气。调用StyleAdvisor.Advise将上一步的天气和“户外商务休闲”作为场合输入。这就是Semantic Kernel的威力你只需要用自然语言描述目标它就能自动协调多个技能无论是代码函数还是AI Prompt来完成复杂任务。课程中会详细演示如何优化Prompt、处理错误以及连接像Whisper这样的语音模型打造更沉浸式的体验。5. 驾驭LangChain构建智能文档问答系统如果说SK擅长“做事”那么LangChain则擅长“处理信息”。我们接下来构建一个课程中提到的文档搜索系统它允许你上传自己的文档如PDF、Word然后以自然语言提问AI会基于文档内容给出答案。这是企业知识库、个人学习助手的核心功能。5.1 文档加载与文本分割首先我们需要将非结构化的文档转换成AI可以处理的文本片段。from langchain_community.document_loaders import PyPDFLoader, TextLoader, Docx2txtLoader from langchain.text_splitter import RecursiveCharacterTextSplitter import os # 1. 选择并加载文档以PDF为例 loader PyPDFLoader(./docs/your_document.pdf) # 替换为你的文件路径 documents loader.load() # 2. 文本分割。这是关键步骤直接影响检索质量。 # 分割太碎会丢失上下文太长则检索不精准。 text_splitter RecursiveCharacterTextSplitter( chunk_size1000, # 每个文本块的最大字符数 chunk_overlap200, # 块之间的重叠字符避免上下文断裂 length_functionlen, separators[\n\n, \n, 。, , , , , , ] # 中文优先的分隔符 ) split_docs text_splitter.split_documents(documents) print(f原始文档页数{len(documents)} 分割后文本块数{len(split_docs)})5.2 向量化与向量数据库存储为了让AI能快速找到相关文本我们需要将文本转换成数学向量嵌入并存入专门的向量数据库进行相似度搜索。from langchain_openai import OpenAIEmbeddings from langchain_community.vectorstores import Chroma # 3. 初始化嵌入模型用于将文本转为向量 embeddings OpenAIEmbeddings(modeltext-embedding-3-small, api_keyos.getenv(OPENAI_API_KEY)) # 4. 将分割后的文档转换为向量并存入Chroma向量数据库持久化到本地 persist_directory ./chroma_db # 向量数据库存储路径 vectordb Chroma.from_documents( documentssplit_docs, embeddingembeddings, persist_directorypersist_directory ) vectordb.persist() # 持久化保存下次启动无需重新计算 print(文档已成功向量化并存入数据库。)5.3 构建检索-问答链现在我们可以将向量检索与语言模型问答结合起来形成一个完整的链条。from langchain_openai import ChatOpenAI from langchain.chains import RetrievalQA from langchain.prompts import PromptTemplate # 5. 初始化用于问答的LLM llm ChatOpenAI(modelgpt-3.5-turbo, temperature0, api_keyos.getenv(OPENAI_API_KEY)) # 6. 从已持久化的数据库中加载向量库 vectordb Chroma(persist_directorypersist_directory, embedding_functionembeddings) # 7. 定义检索器并可以设置一些参数优化检索结果 retriever vectordb.as_retriever( search_typesimilarity, # 相似度搜索 search_kwargs{k: 4} # 返回最相关的4个文本块 ) # 8. 可选自定义Prompt模板让回答更符合你的要求 prompt_template 请严格根据以下上下文来回答问题。如果你不知道答案就说你不知道不要编造答案。 上下文 {context} 问题{question} 请用中文给出答案 PROMPT PromptTemplate( templateprompt_template, input_variables[context, question] ) # 9. 创建检索问答链 qa_chain RetrievalQA.from_chain_type( llmllm, chain_typestuff, # 将检索到的所有文档“塞”进Prompt retrieverretriever, return_source_documentsTrue, # 返回参考来源 chain_type_kwargs{prompt: PROMPT} # 使用自定义Prompt ) # 10. 进行提问 question 文档中提到的核心挑战是什么 result qa_chain.invoke({query: question}) print(f问题{question}) print(f答案{result[result]}) print(\n参考来源) for i, doc in enumerate(result[source_documents][:2]): # 显示前两个来源 print(f[{i1}] {doc.page_content[:200]}...) # 截取片段这个流程就是LangChain的典型应用加载 - 分割 - 嵌入 - 存储 - 检索 - 生成。通过这个链条我们构建了一个能够“理解”私有文档内容的问答系统。课程会深入每个环节的调优例如如何选择不同的文本分割策略、如何优化检索的准确度如使用MMR搜索平衡相关性与多样性以及如何处理超长文档。6. 进阶整合与生产级考量当你分别掌握了SK和LangChain后很自然地会想到将它们结合起来构建更强大的应用。例如一个智能客服Agent可以用LangChain从知识库检索产品信息然后用Semantic Kernel的规划器来决定是直接回答、生成工单还是转接人工。6.1 架构设计模式一个常见的整合模式是“LangChain作为知识引擎SK作为决策与执行大脑”。信息感知层用户输入通过LangChain的文档检索、网络搜索等工具获取相关信息。决策规划层将用户原始问题和检索到的信息一起交给Semantic Kernel的规划器。规划器根据目标如“解决用户的技术问题”和可用技能“查询知识库”、“生成解决方案”、“创建跟进任务”生成一个执行计划。技能执行层SK内核调用相应的技能其中可能包含调用LangChain链的技能来逐步执行计划。响应生成层整合各步骤结果生成最终的自然语言回复给用户。6.2 性能、成本与监控优化将原型投入生产必须考虑以下问题1. 延迟与吞吐量LLM调用异步化使用asyncio或langchain.callbacks来并行处理多个请求避免阻塞。缓存对频繁出现的相似查询结果进行缓存。LangChain提供了LLMCache和EmbeddingsCache。模型选择在效果和速度间权衡。GPT-4效果最好但慢且贵GPT-3.5-Turbo是性价比之选。对于简单的分类、提取任务甚至可以考虑更小的专用模型。2. 成本控制Token计数使用tiktoken库精确计算每次请求的Token消耗尤其是处理长文档时。设置预算与限额在代码层面或API平台设置使用上限和告警。优化Prompt精简Prompt移除不必要的指令。在RAG检索增强生成中精心控制送入上下文的文本块数量和大小。3. 稳定性与监控重试与降级为API调用添加指数退避重试机制。当主要模型如GPT-4失败或超时时有降级到备用模型如GPT-3.5的策略。结构化输出尽可能要求模型以JSON等格式输出便于程序解析避免解析失败。日志与追踪记录每一次LLM调用的输入、输出、Token用量和耗时。使用像LangSmith这样的专门平台可以极大提升调试和监控效率。6.3 安全与责任开发AI应用必须将安全置于首位输入净化对用户输入进行严格的检查和过滤防止Prompt注入攻击。例如用户输入中如果包含“忽略之前的指令”可能会破坏你的系统Prompt。输出审查对模型的输出进行内容安全审查确保不产生有害、偏见或不合规的内容。可以利用OpenAI的内容审查接口或自建规则引擎。数据隐私确保上传的文档不包含敏感个人信息。如果使用云端向量数据库了解其数据存储和加密策略。对于极高敏感数据考虑使用本地嵌入模型如sentence-transformers和完全本地部署的向量数据库。7. 踩坑实录从开发到部署的典型问题在实际开发和部署过程中我遇到了不少坑。这里总结几个最常见的问题和解决方案希望能帮你节省大量时间。问题1OpenAI API调用超时或速率限制。现象程序偶尔抛出APITimeoutError或RateLimitError。排查首先检查网络连接。然后确认你的API密钥所属的套餐是否有速率限制Requests per minute, RPM 和 Tokens per minute, TPM。解决实现重试逻辑使用tenacity或backoff库实现带指数退避的自动重试。from tenacity import retry, stop_after_attempt, wait_exponential retry(stopstop_after_attempt(3), waitwait_exponential(multiplier1, min4, max10)) def call_openai_with_retry(prompt): # 你的调用代码 pass降低并发如果批量处理大量文档控制并发请求数。升级套餐对于生产环境考虑升级到更高的速率限制层级。问题2LangChain文档检索结果不相关导致答案胡言乱语。现象AI给出的答案与文档内容不符甚至凭空捏造。排查根本原因是检索器没有找到正确的文档片段。检查文本分割chunk_size是否合适对于技术文档500-800可能更好对于连贯文章1000-1500更佳。chunk_overlap是否足够保持上下文建议10-20%嵌入模型是否使用了适合你文本语言的嵌入模型对于中文text-embedding-3-small表现不错但也可以测试text-embedding-ada-002或专门的多语言模型。检索策略尝试将search_type从similarity改为mmr(最大边际相关性)它能在相关性的基础上增加结果的多样性有时效果更好。解决这是一个需要反复调试的过程。准备一个包含不同问题类型的测试集调整上述参数观察检索到的文本块是否真正包含了答案。可以使用vectordb.similarity_search_with_score(question, k5)来查看检索结果的相似度分数辅助判断。问题3Semantic Kernel规划器生成的计划不合理或无法执行。现象规划器生成的步骤顺序错误或调用了不存在的技能。排查技能描述检查你为每个原生函数或语义函数编写的description是否清晰、准确规划器完全依赖这些描述来理解技能的功能。目标描述你的goal是否足够明确过于模糊的目标会导致规划混乱。尝试提供更多上下文例如“用户想安排会议。已知信息用户是销售部张三他想约见技术部的李四讨论下季度产品需求。”内核状态规划时需要的插件是否都已正确导入内核解决细化技能描述优化目标Prompt。对于复杂任务可以考虑手动定义步骤使用SequentialPlanner的基础计划而不是完全依赖自动规划。或者使用更高级的ActionPlanner或StepwisePlanner进行尝试。问题4应用响应速度慢用户体验差。现象从用户提问到收到答案耗时超过5-10秒。排查使用 profiling 工具找出瓶颈。通常是LLM生成速度GPT-4比GPT-3.5慢一个数量级。检索耗时向量数据库检索尤其是首次加载或未建立索引时。网络延迟与云端API的通信延迟。解决流式输出对于文本生成使用API的流式响应streamTrue让答案逐字显示极大提升感知速度。预加载与缓存在服务启动时预加载向量数据库索引。对常见问题及其答案进行缓存。前端优化在等待时显示加载动画管理用户预期。构建AI驱动的应用是一次激动人心的旅程它要求开发者同时具备软件工程的传统技能和对机器学习新范式的理解。ChatGPT API提供了强大的核心能力Semantic Kernel赋予了应用自主规划和执行复杂任务的可能性而LangChain则用丰富的组件让处理知识和集成工具变得异常高效。这门课程为你打开了这扇门但真正的精通来自于不断的实践、踩坑和迭代。我的建议是从一个明确的小需求开始比如自动总结你每天的邮件或为你的博客文章生成标题选择最合适的工具动手实现它。在过程中你会更深刻地理解这些框架的设计哲学并逐渐形成自己的最佳实践。记住在这个快速发展的领域保持好奇心和动手能力比记住所有API参数更重要。