RAFT领域特定RAG的LLM适配配方【免费下载链接】gorillaGorilla: An API store for LLMs项目地址: https://gitcode.com/gh_mirrors/go/gorillaRAFTRetrieval Aware Fine-Tuning是一种专门针对领域特定RAG检索增强生成场景设计的大语言模型适配配方。该方法通过创新的数据合成策略和训练范式显著提升了LLM在特定领域文档检索和问答任务中的性能。RAFT的核心思想是通过合成训练数据来模拟真实的RAG场景让模型学会在包含相关文档oracle和干扰文档distractor的上下文中准确回答问题。RAFT方法原理与创新点RAFTRetrieval Aware Fine-Tuning是一种专门针对领域特定RAG检索增强生成场景设计的大语言模型适配配方。该方法通过创新的数据合成策略和训练范式显著提升了LLM在特定领域文档检索和问答任务中的性能。核心原理架构RAFT的核心思想是通过合成训练数据来模拟真实的RAG场景让模型学会在包含相关文档oracle和干扰文档distractor的上下文中准确回答问题。其工作原理可以通过以下流程图展示关键技术创新点1. 智能问答对生成策略RAFT采用大语言模型如GPT-4自动生成高质量的问答对针对每个文档块生成多个相关问题def generate_instructions_gen(chat_completer, chunk, x5, modelNone, prompt_keygpt): 为文档块生成x个相关问题 response chat_completer( modelmodel, messagesbuild_qa_messages[prompt_key](chunk, x), max_tokensmin(25 * x, 512) ) content response.choices[0].message.content queries content.split(\n) if content else [] return [q for q in queries if any(c.isalpha() for c in q)]2. 干扰文档注入机制RAFT引入干扰文档distractor概念模拟真实RAG系统中可能检索到的无关文档参数默认值说明--distractors3每个问题添加的干扰文档数量--p1.0oracle文档在上下文中的出现概率3. 思维链答案生成RAFT要求模型生成包含推理过程的思维链答案增强模型的可解释性和推理能力prompt_templates { gpt: Question: {question}\nContext: {context}\n Answer this question using the information given in the context above. - First provide step-by-step reasoning - Copy relevant sentences in ##begin_quote## and ##end_quote## - End with ANSWER: $answer }4. 多格式数据输出支持RAFT支持多种输出格式适应不同的训练框架5. 语义分块技术RAFT使用基于语义的文档分块方法而非简单的文本分割def get_doc_chunks(embeddings, file_path, doctypepdf, chunk_size512): 使用语义分块技术处理文档 text_splitter SemanticChunker(embeddings, number_of_chunksnum_chunks) chunks text_splitter.create_documents([text]) return [chunk.page_content for chunk in chunks]创新性对比分析与传统RAG方法相比RAFT在以下几个方面展现出显著创新特性传统RAGRAFT训练数据人工标注自动合成干扰处理无专门处理系统性干扰文档注入领域适应性通用领域特定优化推理过程端到端思维链增强数据规模有限可扩展的大规模合成技术实现细节RAFT的数据合成流程遵循严格的质量控制和验证机制文档预处理支持PDF、JSON、TXT和API文档多种格式分块策略基于语义相似度的智能分块确保内容连贯性问答生成使用prompt工程确保生成问题的相关性和多样性答案验证通过思维链格式确保答案的准确性和可解释性数据质量控制自动过滤低质量生成内容确保训练数据质量性能优势体现RAFT方法在以下方面表现出显著优势领域适应性专门针对特定领域文档进行优化抗干扰能力通过干扰文档训练增强模型在噪声环境下的表现推理能力思维链训练提升模型的逻辑推理能力可扩展性自动化数据合成支持大规模训练数据生成实用性直接适用于真实的RAG应用场景通过这种创新的训练范式RAFT成功地将大语言模型适配到特定的领域RAG场景中为实际应用提供了强有力的技术支撑。文档分块与问答对生成流程RAFTRetrieval Augmented Fine-Tuning的核心创新在于其智能化的文档处理流程通过将原始文档转换为高质量的问答对训练数据。这一流程包含四个关键阶段文档分块、问题生成、答案生成和干扰文档添加最终形成{Q, A, D}三元组训练样本。文档分块机制RAFT支持多种文档类型的分块处理包括PDF、JSON、TXT和API文档。每种文档类型都有专门的处理策略PDF文档处理流程def get_doc_chunks(embeddings, file_path, doctypepdf, chunk_size512): text with open(file_path, rb) as file: reader PyPDF2.PdfReader(file) for page_num in range(len(reader.pages)): page reader.pages[page_num] text page.extract_text() num_chunks ceil(len(text) / chunk_size) text_splitter SemanticChunker(embeddings, number_of_chunksnum_chunks) chunks text_splitter.create_documents([text]) return [chunk.page_content for chunk in chunks]API文档处理对于API文档RAFT采用端点级别的分块策略每个API端点作为一个独立的文档块if doctype api: with open(data_path) as f: api_docs_json json.load(f) chunks list(api_docs_json) chunks [str(api_doc_json) for api_doc_json in api_docs_json]RAFT使用语义分块器SemanticChunker而非简单的固定长度分块确保每个块在语义上是完整的单元。这种分块方式能够更好地保持文档的语义连贯性。问答对生成流程文档分块完成后RAFT使用大语言模型如GPT-4为每个文档块生成多个问答对问题生成阶段def generate_instructions_gen(chat_completer, chunk, x5, modelNone, prompt_keygpt): response chat_completer( modelmodel, messagesbuild_qa_messages[prompt_key](chunk, x), max_tokensmin(25 * x, 512) ) content response.choices[0].message.content queries content.split(\n) return [q for q in queries if any(c.isalpha() for c in q)]RAFT提供了两种不同的提示模板策略GPT风格提示模板build_qa_messages[gpt] lambda chunk, x: [ {role: system, content: You are a synthetic question-answer pair generator...}, {role: system, content: The questions should be able to be answered in a few words...}, {role: user, content: str(chunk)} ]Llama风格提示模板build_qa_messages[llama] lambda chunk, x: [ {role: system, content: You are a synthetic question generator. Instructions: - Generate one question per line - Questions should be succinct - Generate only questions}, {role: user, content: str(chunk)} ]答案生成阶段对于每个生成的问题RAFT使用链式思维Chain-of-Thought提示来生成详细的答案prompt_templates[gpt] Question: {question} Context: {context} Answer this question using the information given in the context above. - First provide step-by-step reasoning on how to answer the question. - In the reasoning, include relevant sentences from the context in ##begin_quote## and ##end_quote##. - End your response with final answer in the form ANSWER: $answer You MUST begin your final answer with the tag ANSWER:. 干扰文档添加策略为了增强模型的检索和推理能力RAFT为每个问答对添加干扰文档def add_distractors(chunk, questions, all_chunks, distractors_count3, p1.0): triplets [] for question in questions: # 选择干扰文档 distractor_chunks random.sample( [c for c in all_chunks if c ! chunk], distractors_count ) # 构建上下文 context_chunks distractor_chunks if random.random() p: context_chunks.append(chunk) # 添加正确答案文档 random.shuffle(context_chunks) # 打乱顺序 triplet { question: question, context: context_chunks, oracle_chunk: chunk } triplets.append(triplet) return triplets数据格式转换RAFT支持多种输出格式以适应不同的微调需求输出格式描述适用场景HF (HuggingFace)原始三元组格式自定义训练流程CompletionOpenAI完成格式GPT系列模型微调Chat对话格式聊天模型微调Eval评估格式模型性能评估格式转换示例# 转换为Completion格式 def format_to_completion(triplet, prompt_columnprompt, completion_columncompletion): context_str \n.join([fDOCUMENT{doc}/DOCUMENT for doc in triplet[context]]) prompt f{context_str}\n{triplet[question]} completion triplet[answer] STOP return {prompt_column: prompt, completion_column: completion}质量保证机制RAFT通过多种机制确保生成数据的质量内容过滤自动检测和跳过可能触发内容过滤的文档块格式验证确保生成的问答对符合预期的格式要求语义一致性通过语义分块保持文档块的语义完整性多样性保证通过随机干扰文档选择和打乱顺序增强数据多样性性能优化策略RAFT采用多线程处理和检查点机制来优化大规模文档处理checkpointed(checkpointing) def process_chunk(chunk_id, chunk, all_chunks, chat_completer, questions_per_chunk5, distractors3): # 生成问题 questions generate_instructions_gen(chat_completer, chunk, questions_per_chunk) # 生成答案并添加干扰文档 triplets [] for question in questions: answer generate_answer(chat_completer, question, chunk) triplet create_triplet(question, answer, chunk, all_chunks, distractors) triplets.append(triplet) return Dataset.from_list(triplets)整个文档分块与问答对生成流程通过智能的提示工程、语义分块和干扰文档策略将原始文档转换为高质量的监督学习数据为领域特定的RAG模型微调提供了强大的数据基础。干扰文档添加与数据集构建RAFT框架中的干扰文档添加机制是构建高质量检索增强生成(RAG)训练数据的核心环节。这一过程通过精心设计的算法为每个问题-答案对添加语义相关但内容无关的干扰文档从而模拟真实RAG场景中的信息检索挑战。干扰文档的生成原理RAFT采用基于嵌入相似度的干扰文档选择策略其核心思想是从文档语料库中随机选择与正确答案文档语义相似但内容不相关的文档片段作为干扰项。这种设计能够有效训练模型在包含噪声的上下文中准确识别相关信息。干扰文档选择算法实现RAFT的干扰文档选择过程在raft.py文件中通过以下关键函数实现def add_distractor_docs(args, chunks, oracle_chunk, num_distract): 为每个问题-答案对添加干扰文档 distractor_indices random.sample(range(len(chunks)), num_distract) distractors [chunks[i] for i in distractor_indices if i ! chunks.index(oracle_chunk)] # 确保干扰文档数量符合要求 while len(distractors) num_distract: additional_idx random.randint(0, len(chunks)-1) if additional_idx ! chunks.index(oracle_chunk) and chunks[additional_idx] not in distractors: distractors.append(chunks[additional_idx]) return distractors数据集三元组结构每个训练样本采用{Q, A, D}三元组格式其中Q (Question): 基于文档块生成的问题A (Answer): 对应的精确答案D (Distractors): 干扰文档集合{ id: seed_task_0, type: general, question: What is the official motto of the United States of America?, context: { sentences: [ the Gulf of Mexico are prone to hurricanes..., energy from fossil fuel and the largest..., weaponry, ideology, and international i..., [CLS] United States of America Flag Coat of arms..., ##om ic soft pow er. [ 405 ] [ 406 ] Nearly all present... ], title: [placeholder_title, placeholder_title, placeholder_title, placeholder_title, placeholder_title] }, answer: In God We Trust, cot_answer: None }配置参数详解RAFT提供了灵活的干扰文档配置选项通过命令行参数进行控制参数默认值说明--distractors3每个数据点包含的干扰文档数量--p1.0正确答案文档在上下文中出现的概率--chunk_size512文档分块的token数量--questions5每个文档块生成的问题数量实际应用示例以下是一个完整的RAFT数据集生成命令展示了干扰文档配置的实际应用python3 raft.py \ --datapath sample_data/United_States_PDF.pdf \ --output ./output_dataset \ --distractors 4 \ --p 0.8 \ --doctype pdf \ --chunk_size 512 \ --questions 5 \ --openai_key YOUR_OPENAI_KEY质量控制机制为确保干扰文档的质量和多样性RAFT实现了多重质量控制语义多样性保证: 通过随机抽样确保干扰文档覆盖不同主题领域重复检测: 避免相同的干扰文档在单个样本中重复出现相关性过滤: 排除与正确答案过于相似的文档片段数量验证: 确保每个样本都包含指定数量的干扰文档性能优化策略RAFT采用并行处理和检查点机制来优化大规模数据集生成# 使用多线程处理文档分块 with ThreadPoolExecutor(max_workersargs.workers) as executor: futures [executor.submit(process_chunk, chunk_id, chunk, args) for chunk_id, chunk in enumerate(chunks)] # 检查点机制确保长时间运行的任务可恢复 checkpointed(checkpointing) def process_chunk(chunk_id, chunk, args): # 处理单个文档块并生成训练样本 return generate_training_samples(chunk, args)这种设计使得RAFT能够高效处理大型文档语料库生成数万甚至数百万的高质量训练样本为领域特定的RAG模型提供充分的训练数据。通过精心设计的干扰文档添加机制RAFT确保了生成的训练数据既具有挑战性又保持真实性使模型能够在复杂的检索环境中学会准确识别相关信息从而提高在实际应用中的性能表现。Azure AI Studio微调实践在RAFT框架中Azure AI Studio提供了强大的云端微调能力让开发者能够高效地对大语言模型进行领域特定的适配。本节将详细介绍如何在Azure AI Studio中完成RAFT模型的微调部署流程。环境准备与配置在开始微调之前需要确保满足以下关键配置要求地理位置选择必须选择West US 3区域使用Pay As You Go订阅模式确保订阅已注册Microsoft.Network资源提供程序订阅类型要求数据格式转换在将RAFT生成的数据集上传到Azure AI Studio之前需要进行格式转换。RAFT提供了专门的格式转换工具# 将HuggingFace数据集转换为Azure兼容的JSONL格式 python3 format.py \ --input output/data-00000-of-00001.arrow \ --output output.completion.jsonl \ --output-format completion \ --output-completion-prompt-column prompt \ --output-completion-completion-column completion格式转换参数说明参数说明默认值必需--input输入数据集文件路径-✓--output输出文件路径-✓--output-format输出格式completion/chatcompletion✓--output-completion-prompt-column提示词列名prompt✗--output-completion-completion-column补全列名completion✗Azure AI Studio微调步骤1. 创建AI项目访问 https://ai.azure.com/ 创建新的AI项目输入项目名称并创建新的资源。2. 配置AI Hub资源输入AI Hub资源名称选择Pay As You Go订阅设置位置为West US 33. 启动微调流程在AI Studio项目中打开Fine-tuning标签页点击Fine-tune model按钮。4. 模型选择与配置5. 数据上传与映射选择upload data选项上传JSONL格式文件系统会自动显示数据的前几行预览正确映射提示词列和补全列Prompt列包含问题和上下文文档Completion列包含模型应该生成的答案6. 任务参数配置选择文本生成任务类型配置以下参数参数类别配置选项推荐值学习率Learning Rate根据模型大小调整批次大小Batch Size根据GPU内存确定训练轮数Epochs3-5轮序列长度Sequence Length匹配模型最大长度微调作业监控微调作业启动后可以在Azure AI Studio中实时监控训练进度# 监控作业状态的伪代码 while job_status ! Completed: check_job_progress() if job_status Failed: analyze_failure_reasons() adjust_parameters() restart_job() wait_for_next_check()常见监控指标训练损失Training Loss下降趋势验证准确率Validation Accuracy提升GPU利用率监控内存使用情况模型部署与测试微调完成后部署模型到推理端点部署配置选项测试部署的模型# 使用eval.py脚本测试模型性能 python3 eval.py \ --question-file YOUR_EVAL_FILE.jsonl \ --answer-file evaluation_results.json \ --base-url https://your-deployment.openai.azure.com/ \ --api-key your-api-key \ --model-name your-deployed-model最佳实践与故障排除性能优化建议数据质量确保训练数据包含高质量的{Q, A, D}三元组超参数调优根据验证集表现调整学习率和批次大小监控指标密切关注训练损失和验证准确率的收敛情况常见问题解决作业失败检查数据格式是否正确资源配额是否充足性能不佳尝试增加训练数据量或调整模型架构部署问题验证端点配置和网络连接设置通过Azure AI Studio的图形化界面和自动化流程开发者可以快速完成RAFT模型的微调部署大大降低了领域特定RAG应用的技术门槛。整个流程从数据准备到模型部署都提供了完整的工具链支持确保了微调过程的高效性和可靠性。总结通过Azure AI Studio的图形化界面和自动化流程开发者可以快速完成RAFT模型的微调部署大大降低了领域特定RAG应用的技术门槛。整个流程从数据准备到模型部署都提供了完整的工具链支持确保了微调过程的高效性和可靠性。RAFT方法通过智能化的文档处理流程、干扰文档添加机制和云端微调能力成功地将大语言模型适配到特定的领域RAG场景中为实际应用提供了强有力的技术支撑。【免费下载链接】gorillaGorilla: An API store for LLMs项目地址: https://gitcode.com/gh_mirrors/go/gorilla创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考