QAnything-1.3.0，支持纯python笔记本运行，支持混合检索

news2025/6/9 9:13:55

QAnything 1.3.0 更新了，这次带来两个主要功能，一个是纯python的安装，另一个是混合检索。更多详情见：

https://github.com/netease-youdao/QAnything/releases

纯python安装

我们刚发布qanything开源的时候，希望用户可以用这个代码来直接在生产环境中部署使用，为了性能，它引入了很多第三方的库和服务，比如milvus，mysql，tritonserver，elasticsearch等。这些服务本身也非常庞大复杂，我们做了docker镜像和dockerfiles，试图将一些依赖打包起来，用户只要拉下来就可以用。但是还是有很多人遇到麻烦。比如不能在mac等笔记本上运行。

所以这次，这次我们发布了一个纯python的轻量级的版本，可以在mac等笔记本上跑起来，可以不依赖gpu。安装过程极其简单：

第一步：拉代码到本地

git clone https://github.com/netease-youdao/QAnything

如果是国内的访问不了github的，可以用gitee，我们已经同步了代码。

git clone https://gitee.com/netease-youdao/QAnything.git

第二步：安装

首先需要将代码分支切换到develop_for_v1.3.1的版本（因为这个版本还在开发中），然后执行安装：

cd QAnythinggit checkout develop_for_v1.3.1pip install -e .

在这一步，系统会自动检测所有依赖的东西，包括vllm，transformer,pytorch等库。为了提高国内用户的下载速度，里面大部分的源都已经针对国内环境做了优化。

注意，如果是Mac下，需要先安装xcode（在mac app store上可以找到），因为它依赖了lamma.cpp，需要编译一下。

第三步：使用

为了方便用户使用，我们在scripts下面放了针对多个机器环境配置的一键启动的脚本：​​​​​​​

ls scripts/base_run.sh                                    run_for_4B_in_M1_mac.shgpu_capabilities.json                          run_for_7B_in_Linux_or_WSL.shlist_files.py                                  run_for_7B_in_M1_mac.shlocal_chat_qa.py                               run_for_openai_api_in_M1_mac.shmulti_local_chat_qa.py                         run_for_openai_api_with_cpu_in_Linux_or_WSL.shmulti_upload_files.py                          run_for_openai_api_with_gpu_in_Linux_or_WSL.shmysql_statics.py                               stream_chat.pynew_knowledge_base.py                          upload_files.pynvidia_gpus_compute_capability.py              weixiaobao.jpgrun_for_3B_in_Linux_or_WSL.sh

以笔者的电脑为例（mac m1)，我可以选择用：

scripts/run_for_openai_api_in_M1_mac.sh

这个脚本使用了本地的embedding/rerank/ocr，但是得配置一下openai的接口。这个需要大家找一下，有很多代理openai的接口，可以配置baseurl和key。

假设我们已经配置好了，就可以通过这个脚本(我隐去了里面的url和key，用*替代）启动qanything了：​​​​​​​

(base) mac:QAnything linhui$ sh scripts/run_for_openai_api_in_M1_mac.shXcode 已正确安装在路径：/Applications/Xcode.app/Contents/Developer即将启动后端服务，启动成功后请复制[http://127.0.0.1:8777/qanything/]到浏览器进行测试。运行qanything-server的命令是：python3 -m qanything_kernel.qanything_server.sanic_api --host 127.0.0.1 --port 8777 --model_size 7B  --use_openai_api --openai_api_base https://api.openai****.org/v1 --openai_api_key sk-AM3*************BHl --openai_api_model_name gpt-3.5-turbo-1106 --openai_api_context_length 4096 --workers 4LOCAL DATA PATH: /Users/linhui/workspace/QAnything/QANY_DB/contentLOCAL_RERANK_REPO: maidalun/bce-reranker-base_v1LOCAL_EMBED_REPO: maidalun/bce-embedding-base_v1<Logger debug_logger (INFO)> <Logger qa_logger (INFO)>llama_cpp_python 0.2.57 已经安装。2024-04-08 10:03:13,141 - modelscope - INFO - PyTorch version 2.2.1 Found.2024-04-08 10:03:13,141 - modelscope - INFO - Loading ast index from /Users/linhui/.cache/modelscope/ast_indexer2024-04-08 10:03:13,176 - modelscope - INFO - Loading done! Current index file version is 1.13.0, with md5 4e15c4f2db78c84e863a425f008f4eac and a total number of 972 components indexeduse_cpu: Falseuse_openai_api: True[2024-04-08 10:03:14 +0800] [20092] [INFO]   ┌─────────────────────────────────────────────────────────────────────────────┐  │                                Sanic v23.6.0                                │  │                      Goin' Fast @ http://127.0.0.1:8777                     │  ├───────────────────────┬─────────────────────────────────────────────────────┤  │                       │     mode: production, w/ 4 workers                  │  │     ▄███ █████ ██     │   server: sanic, HTTP/1.1                           │  │    ██                 │   python: 3.10.9                                    │  │     ▀███████ ███▄     │ platform: macOS-13.3.1-arm64-arm-64bit              │  │                 ██    │ packages: sanic-routing==23.12.0, sanic-ext==23.6.0 │  │    ████ ████████▀     │                                                     │  │                       │                                                     │  │ Build Fast. Run Fast. │                                                     │  └───────────────────────┴─────────────────────────────────────────────────────┘
[2024-04-08 10:03:14 +0800] [20092] [WARNING] Sanic is running in PRODUCTION mode. Consider using '--debug' or '--dev' while actively developing your application.LOCAL DATA PATH: /Users/linhui/workspace/QAnything/QANY_DB/contentLOCAL_RERANK_REPO: maidalun/bce-reranker-base_v1LOCAL_EMBED_REPO: maidalun/bce-embedding-base_v1<Logger debug_logger (INFO)> <Logger qa_logger (INFO)>llama_cpp_python 0.2.57 已经安装。2024-04-08 10:03:17,231 - modelscope - INFO - PyTorch version 2.2.1 Found.2024-04-08 10:03:17,231 - modelscope - INFO - Loading ast index from /Users/linhui/.cache/modelscope/ast_indexer2024-04-08 10:03:17,264 - modelscope - INFO - Loading done! Current index file version is 1.13.0, with md5 4e15c4f2db78c84e863a425f008f4eac and a total number of 972 components indexeduse_cpu: Falseuse_openai_api: TrueLOCAL DATA PATH: /Users/linhui/workspace/QAnything/QANY_DB/contentLOCAL_RERANK_REPO: maidalun/bce-reranker-base_v1LOCAL_EMBED_REPO: maidalun/bce-embedding-base_v1<Logger debug_logger (INFO)> <Logger qa_logger (INFO)>LOCAL DATA PATH: /Users/linhui/workspace/QAnything/QANY_DB/contentLOCAL_RERANK_REPO: maidalun/bce-reranker-base_v1LOCAL_EMBED_REPO: maidalun/bce-embedding-base_v1<Logger debug_logger (INFO)> <Logger qa_logger (INFO)>LOCAL DATA PATH: /Users/linhui/workspace/QAnything/QANY_DB/contentLOCAL_RERANK_REPO: maidalun/bce-reranker-base_v1LOCAL_EMBED_REPO: maidalun/bce-embedding-base_v1LOCAL DATA PATH: /Users/linhui/workspace/QAnything/QANY_DB/contentLOCAL_RERANK_REPO: maidalun/bce-reranker-base_v1LOCAL_EMBED_REPO: maidalun/bce-embedding-base_v1<Logger debug_logger (INFO)> <Logger qa_logger (INFO)><Logger debug_logger (INFO)> <Logger qa_logger (INFO)>llama_cpp_python 0.2.57 已经安装。llama_cpp_python 0.2.57 已经安装。llama_cpp_python 0.2.57 已经安装。llama_cpp_python 0.2.57 已经安装。2024-04-08 10:03:21,898 - modelscope - INFO - PyTorch version 2.2.1 Found.2024-04-08 10:03:21,898 - modelscope - INFO - PyTorch version 2.2.1 Found.2024-04-08 10:03:21,898 - modelscope - INFO - Loading ast index from /Users/linhui/.cache/modelscope/ast_indexer2024-04-08 10:03:21,898 - modelscope - INFO - Loading ast index from /Users/linhui/.cache/modelscope/ast_indexer2024-04-08 10:03:21,947 - modelscope - INFO - Loading done! Current index file version is 1.13.0, with md5 4e15c4f2db78c84e863a425f008f4eac and a total number of 972 components indexed2024-04-08 10:03:21,951 - modelscope - INFO - Loading done! Current index file version is 1.13.0, with md5 4e15c4f2db78c84e863a425f008f4eac and a total number of 972 components indexed2024-04-08 10:03:22,335 - modelscope - INFO - PyTorch version 2.2.1 Found.2024-04-08 10:03:22,336 - modelscope - INFO - Loading ast index from /Users/linhui/.cache/modelscope/ast_indexer2024-04-08 10:03:22,369 - modelscope - INFO - Loading done! Current index file version is 1.13.0, with md5 4e15c4f2db78c84e863a425f008f4eac and a total number of 972 components indexed2024-04-08 10:03:22,431 - modelscope - INFO - PyTorch version 2.2.1 Found.2024-04-08 10:03:22,432 - modelscope - INFO - Loading ast index from /Users/linhui/.cache/modelscope/ast_indexer2024-04-08 10:03:22,466 - modelscope - INFO - Loading done! Current index file version is 1.13.0, with md5 4e15c4f2db78c84e863a425f008f4eac and a total number of 972 components indexeduse_cpu: Falseuse_openai_api: Trueuse_cpu: Falseuse_openai_api: True[2024-04-08 10:03:22 +0800] [20102] [INFO] Sanic Extensions:[2024-04-08 10:03:22 +0800] [20102] [INFO]   > injection [0 dependencies; 0 constants][2024-04-08 10:03:22 +0800] [20102] [INFO]   > openapi [http://127.0.0.1:8777/docs][2024-04-08 10:03:22 +0800] [20102] [INFO]   > http [2024-04-08 10:03:22 +0800] [20102] [INFO]   > templating [jinja2==3.1.2][2024-04-08 10:03:22 +0800] [20099] [INFO] Sanic Extensions:[2024-04-08 10:03:22 +0800] [20099] [INFO]   > injection [0 dependencies; 0 constants][2024-04-08 10:03:22 +0800] [20099] [INFO]   > openapi [http://127.0.0.1:8777/docs][2024-04-08 10:03:22 +0800] [20099] [INFO]   > http [2024-04-08 10:03:22 +0800] [20099] [INFO]   > templating [jinja2==3.1.2]use_cpu: Falseuse_openai_api: True[2024-04-08 10:03:23 +0800] [20101] [INFO] Sanic Extensions:[2024-04-08 10:03:23 +0800] [20101] [INFO]   > injection [0 dependencies; 0 constants][2024-04-08 10:03:23 +0800] [20101] [INFO]   > openapi [http://127.0.0.1:8777/docs][2024-04-08 10:03:23 +0800] [20101] [INFO]   > http [2024-04-08 10:03:23 +0800] [20101] [INFO]   > templating [jinja2==3.1.2]use_cpu: Falseuse_openai_api: True[2024-04-08 10:03:23 +0800] [20100] [INFO] Sanic Extensions:[2024-04-08 10:03:23 +0800] [20100] [INFO]   > injection [0 dependencies; 0 constants][2024-04-08 10:03:23 +0800] [20100] [INFO]   > openapi [http://127.0.0.1:8777/docs][2024-04-08 10:03:23 +0800] [20100] [INFO]   > http [2024-04-08 10:03:23 +0800] [20100] [INFO]   > templating [jinja2==3.1.2]

然后就可以通过浏览器访问：http://127.0.0.1:8777/qanything/#/home 来体验qanything了。

当然，也可以使用本地的大模型，qanything已经通过lamma.cpp以及vllm 集成了多个本地大模型。在mac的笔记本上是千问7b和4b的int4的量化版本，我测试了感觉效果一般。在linux + nvidia显卡上用的是千问7b的int8的版本，效果还行。

目前python版(develop_v1.3.1分支）相比docker版本（master 分支)在易用性上有优势，但是一些性能相关的东西还没有迁移过来，比如docker版本支持tensortllm，推理性能更高一些。docker版本里面的ocr解析模型质量也略好点。

混合检索

这次我们同时支持了混合检索 BM25 + embedding。

图片

embedding语义检索

qanything自带了bcembedding的模型，可以做语义检索，大部分情况下已经能取得比较好的效果。

BM25关键字搜索

在实际使用中，我们发现有一些特殊情况用关键字搜索效果会更好，包括：

  1. 特定名字的搜索。比如iphone 15。如果用向量检索可能会把所有的iphone都给检索出来了，而我只要iphone 15这个型号的。

  2. 罕见的短词、缩略词搜索。这个因为训练语料中见的很少，可能会导致语义理解发生偏差，检索不出来。

  3. 一些id的检索。需要做精确匹配的。

BM25算法的解释

BM25算法是比较经典的关键字搜索算法，它是由tf/idf算法改进而来的。2016年Elasticsearch 5.0的默认检索器从tf/idf改成了bm25算法。这里简单科普下这个算法：

tf/idf算法

搜索query和doc的匹配度的score计算公式为：

score(D, T) = tf * idf = termFrequency(D, T) * log(N / docFrequency(T))

其中 termFrequency 是词频，代表query的词在某个文档中出现的次数，出现的越多次就越相关。idf代表这个词的区分度，如果一个词（比如“的”、“地”、“得”之类副词）在很多文档都出现，这种词就不太重要。N是文档总数，docFrequency代表这个词在多少个文档中出现。其中Log是为了平滑，否则细微的docFrequency的变化会导致score的剧烈波动。

BM25算法

图片

bm25算法在tf/idf算法上做了几点改进：

1.词频贡献有个上限。比如一个文档出现了太多次query里面的某个词了，这个贡献不应一直累加，而是有个上限。所以它用tf/(tf+k) 来做抑制。这带来的一个好处是，算法会青睐不同query的词同时在文档中出现的情况。比如，搜索 cat dog，如果cat 和 dog都在文档中出现1次，它的分值会比只有dog在文档中出现2次的分值要高。如果k=1的话，一个词出现两次的score=1/2，两个词出现1次的socre = 2/3。

2. 惩罚长文档的影响力。如果文档词比较多，那么命中关键字的可能性当然就大很多。把 |D|/(avg doc length）作为k，可以达到这个目的。

3. 词的重要性。这个还是按idf的那套策略来算。这里用的是log (N-DF+.5)/(DF+.5)，这是由学术理论算出来的最优值（在一些简化的假设条件下）。

重排序（rerank)

两路检索出来的的chunks要按照重要性做重新排序。重排序也有多种算法，比如基于倒数的融合排序：

图片

不过在我们系统中，我们直接依赖BCE rerank做重排序，在各种场景下表现良好。

混合检索当前还只在docker版本（master 分支) 上支持。

qanything 1.3.0的更新

新特性

  1. 支持在纯Python环境中安装，可以在MAC上运行，也可以在纯CPU机器上运行。详见：纯Python环境安装教程

  2. 支持混合检索（BM25+Embedding）。

  3. 当系统命令缺失时，下载提示更清晰。

  4. 自动检测显卡的计算能力和内存大小，并根据情况自动调整默认启动参数，以提供用户最佳体验，并给予相关提示。

  5. 更新前置条件，最低支持 GTX1050Ti，支持更多显卡型号。

  6. 提示用户代码仓库是否为最新，仅适用于主分支。

  7. 优化启动流程，自动查询相关日志并在前端显示错误消息，避免连续输出 'waiting for coffee'。

  8. 在前端添加英文版本。

  9. 修复已知的错误，优化用户体验。（在 Milvus 插入失败时，请记得删除根目录下的 "volumes" 文件夹。）

变更内容

  • 修复启动脚本已知问题。由 @xixihahaliu 提交于 #92

  • 修复已知问题，优化用户体验。由 @xixihahaliu 提交于 #102

  • Milvus增加用户名、密码、数据库名支持。由 @cklogic 提交于 #97

  • feat_#114: 为 NVIDIA GeForce RTX 4090D 添加 GPU 兼容性检查。由 @johnymoo 提交于 #115

  • 修复：由 @pinkcxy 提交的轮次控制问题。#131

  • 问题修复：调用api/api/local_doc_qa/local_doc_chat返回数据为None。由 @leehom0123 提交于 #137

  • 优化解析 csv 和 xlsx 文件的逻辑。此外，现在支持离线运行 Docker 镜像。由 @xixihahaliu 提交于 #139

  • 混合搜索。由 @shenlei1020 提交于 #194

QAnything开源代码地址：

https://github.com/netease-youdao/QAnything

更多信息见：

  1. 纯python的安装说明：https://github.com/netease-youdao/QAnything/blob/qanything-python-v1.3.1/README.md#pure-python-environment-installation-guide

  2. bce embedding 和 rerank: https://github.com/netease-youdao/BCEmbedding

  3. bm25算法的解释：https://kmwllc.com/index.php/2020/03/20/understanding-tf-idf-and-bm-25/

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1592519.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

rspack 使用构建vue3脚手架

rspack 使用构建vue3脚手架

基于 Rust 的高性能 Web 构建工具。rspack 主要适配 webpack 生态&#xff0c;对于绝大多数 webpack 工具库都是支持的。 启动速度快&#xff1b;增量热更新快。兼容 webpack 生态&#xff1b;内置了 ts、jsx、css、css modules 等开箱即用。生产优化&#xff0c;tree shaking…
阅读更多...
JVM修炼之路【12】- GC调优 、性能调优

JVM修炼之路【12】- GC调优 、性能调优

上一篇中 我们详细讲了内存溢出 内存泄漏 还有相关的案例。 这篇博客中我们主要了解一下GC调优。 有些新手可能会有一点 疑问—— 这两者不是一回事吗&#xff1f;&#xff1f; 其实说一回事 也没错 因为GC调优本质上还是针对 堆上的内存 只不过前面我们关注的侧重点在于 不合…
阅读更多...
MATLAB绘制地球仪

MATLAB绘制地球仪

clc;close all;clear all;warning off;%清除变量% 地球半径&#xff08;单位&#xff1a;千米&#xff09; R 6371;% 定义角度范围 theta linspace(0, 2*pi, 100); % 经度范围 phi linspace(0, pi, 100); % 纬度范围&#xff08;从北极到南极&#xff0c;0到pi&#xff09;%…
阅读更多...
thinkphp6入门（23）-- 如何导入excel

thinkphp6入门（23）-- 如何导入excel

1. 安装phpexcel composer require phpoffice/phpexcel composer update 2. 前端 <form class"forms-sample" action"../../xxxx/xxxx/do_import_users" method"post" enctype"multipart/form-data"><div class"cont…
阅读更多...
【蓝桥杯】第十五届蓝桥杯大赛软件赛省赛（Java研究生组）个人解题思路及代码分享

【蓝桥杯】第十五届蓝桥杯大赛软件赛省赛（Java研究生组）个人解题思路及代码分享

文章目录 试题A&#xff1a;劲舞团试题B&#xff1a;召唤数字精灵试题C&#xff1a;封闭图形的个数试题D&#xff1a;商品库存管理试题E&#xff1a;砍柴试题F&#xff1a;回文字符串试题G&#xff1a;最大异或节点试题H&#xff1a;植物生命力 试题A&#xff1a;劲舞团 【问题…
阅读更多...
阿里面试总结 一

阿里面试总结 一

写了这些还是不够完整&#xff0c;阿里 字节 卷进去加班&#xff01;奥利给 ThreadLocal 线程变量存放在当前线程变量中&#xff0c;线程上下文中&#xff0c;set将变量添加到threadLocals变量中 Thread类中定义了两个ThreadLocalMap类型变量threadLocals、inheritableThrea…
阅读更多...
YOLO系列 | 正负样本分配策略

YOLO系列 | 正负样本分配策略

文章目录 1 Max-IoU matching(YOLOv1~V3)2 Multi-Anchor策略(YOLOv4)3 基于宽高比的领域匹配策略(YOLOv5)4 simOTA(Simple Optimal Transport Assignment)匹配策略(YOLOX, YOLOv6)5 领域匹配simOTA(YOLOv7)6 TaskAlignedAssigner匹配策略(YOLOv8, YOLOv9)参考资料 1 Max-IoU ma…
阅读更多...
Redis：发布和订阅

Redis：发布和订阅

文章目录 一、介绍二、发布订阅命令 一、介绍 Redis的发布和订阅功能是一种消息通信模式&#xff0c;发送者&#xff08;pub&#xff09;发送消息&#xff0c;订阅者&#xff08;sub&#xff09;接收消息。这种功能使得消息发送者和接收者不需要直接建立连接&#xff0c;而是通…
阅读更多...
STC89C52学习笔记（十一）

STC89C52学习笔记（十一）

STC89C52学习笔记&#xff08;十一&#xff09; 综述&#xff1a;本文讲述了直流电机以及PWM调速。 一、直流电机 1、特点 &#xff08;1&#xff09;直流电机能将电能转化位机械能。 &#xff08;2&#xff09;直流电机有两个电极&#xff0c;电极正接时&#xff0c;电机…
阅读更多...
Stable Diffusion文生图技术详解：从零基础到掌握CLIP模型、Unet训练和采样器迭代

Stable Diffusion文生图技术详解：从零基础到掌握CLIP模型、Unet训练和采样器迭代

文章目录 概要Stable Diffusion 底层结构与原理文本编码器&#xff08;Text Encoder&#xff09;图片生成器&#xff08;Image Generator&#xff09; 那扩散过程发生了什么&#xff1f;stable diffusion 总体架构主要模块分析Unet 网络采样器迭代CLIP 模型 小结 概要 Stable …
阅读更多...
WebLogic-XMLDecoder(CVE-2017-10271)反序列化漏洞分析及复现

WebLogic-XMLDecoder(CVE-2017-10271)反序列化漏洞分析及复现

&#x1f36c; 博主介绍&#x1f468;‍&#x1f393; 博主介绍&#xff1a;大家好&#xff0c;我是 hacker-routing &#xff0c;很高兴认识大家~ ✨主攻领域&#xff1a;【渗透领域】【应急响应】 【Java、PHP】 【VulnHub靶场复现】【面试分析】 &#x1f389;点赞➕评论➕收…
阅读更多...
C++string类(个人笔记)

C++string类(个人笔记)

string类 1.认识string的接口以及熟练使用常用接口1.1string类对象的常见构造1.2string类对象的容量操作1.3string类对象的访问及遍历操作1.4string类对象的修改操作 2.vs 和g下string结构的说明3.string类运用的笔试题4.string类的模拟实现 1.认识string的接口以及熟练使用常用…
阅读更多...
NPM 命令备忘单

NPM 命令备忘单

NPM 简介 Node Package Manager (NPM) 是 Node.js 环境中不可或缺的命令行工具&#xff0c;充当包管理器来安装、更新和管理 Node.js 应用程序的库、包和模块。对于每个 Node.js 开发人员来说&#xff0c;无论他们的经验水平如何&#xff0c;它都是一个关键工具。 NPM 的主要…
阅读更多...
Day19-【Java SE进阶】网络编程

Day19-【Java SE进阶】网络编程

一、网络编程 1.概述 可以让设备中的程序与网络上其他设备中的程序进行数据交互(实现网络通信的)。java.net,*包下提供了网络编程的解决方案! 基本的通信架构 基本的通信架构有2种形式:CS架构(Client客户端/Server服务端)、BS架构(Browser浏览器/Server服务端)。 网络通信的…
阅读更多...
FourCastNet 论文解析

FourCastNet 论文解析

气象基础模型/气象大模型论文速递 论文链接基于arXiv Feb. 22, 2022版本阅读 几乎是第一篇气象大模型的工作&#xff0c;同时也是为数不多的对precipitation进行预测的模型。 文章目录 PerformanceStructureFourier transformToken mixing TrainingPrecipitation Model Ensembl…
阅读更多...
Android开发：Camera2+MediaRecorder录制视频后上传到阿里云VOD

Android开发：Camera2+MediaRecorder录制视频后上传到阿里云VOD

文章目录 版权声明前言1.Camera1和Camera2的区别2.为什么选择Camera2&#xff1f; 一、应用Camera2MediaPlayer实现拍摄功能引入所需权限构建UI界面的XMLActivity中的代码部分 二、在上述界面录制结束后点击跳转新的界面进行视频播放构建播放界面部分的XMLActivity的代码上述代…
阅读更多...
C++如何排查并发编程死锁问题？

C++如何排查并发编程死锁问题？

C如何排查并发编程死锁问题&#xff1f; 最近在Apache arrow里面写一个支持并行的算子&#xff1a;nested loop join&#xff0c;然后既然涉及到并行&#xff0c;这里就会遇到大家常说的死锁问题&#xff0c;假设你碰到了死锁问题&#xff0c;如何调试与定位呢&#xff1f; 那这…
阅读更多...
C程序的编译

C程序的编译

经过预处理后的源文件，退去一切包装，注释被删除，各种预处理命令也基本上被处理掉，剩下的就是原汁原味的C代码了。接下来的第二步，就开始进入编译阶段。编译阶段主要分两步：第一步，编译器调用一系列解析工具，去分析这些C代码，将C源文件编译为汇编文件；第二步，通过汇编…
阅读更多...
科软24炸穿了，25还能冲吗？

科软24炸穿了，25还能冲吗？

25考研&#xff0c;科软必然保持大热 不是吧兄弟&#xff0c;明眼人都能看出来&#xff0c;科软以后不会出现大冷的局面了&#xff0c;除非考计算机的人减少&#xff0c;因为科软简直是叠满了buff&#xff0c;首先科软的专业课是22408&#xff0c;考的是数学二&#xff0c;这就…
阅读更多...
一、接口自动化之pytest 运行参数

一、接口自动化之pytest 运行参数

1、在跟目录下创建一个配置项pytest.ini [pytest] testpaths./testcases markersp0:高于优先级test:测试环境pro:生成环境2、打标签 3、运行命名pytest -m "p0"
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023