ubuntu:20.04编译arrow

news2025/7/18 7:11:39

1)拉取代码

git clone https://github.com/apache/arrow.git

2)切换分支

git checkout apache-arrow-11.0.0

3)拉入测试数据并设置环境变量

pushd arrow
git submodule update --init
export PARQUET_TEST_DATA="${PWD}/cpp/submodules/parquet-testing/data"
export ARROW_TEST_DATA="${PWD}/testing/data"
popd

4)使用conda

conda包管理器允许将 Arrow C++ 和 PyArrow的构建时依赖项安装为预构建的二进制文件,这可以使 Arrow 开发更轻松、更快速。

让我们创建一个 conda 环境,其中包含来自 conda-forge 的所有 C++ 构建和 Python 依赖项,目标是 Python 3.8 的开发:

conda create -y -n pyarrow-dev -c conda-forge \
       --file arrow/ci/conda_env_unix.txt \
       --file arrow/ci/conda_env_cpp.txt \
       --file arrow/ci/conda_env_python.txt \
       --file arrow/ci/conda_env_gandiva.txt \
       compilers \
       python=3.8 \
       pandas

5)激活pyarrow-dev

conda activate pyarrow-dev

 

 注意:

如果不使用 conda,您必须安排您的系统提供所需的构建工具和依赖项。请注意,如果缺少某些依赖项,Arrow C++ 构建链可能仍然能够即时下载和编译它们,但这将比预安装的二进制文件花费更长的时间。

在 macOS 上,使用 Homebrew 安装构建 Arrow C++ 所需的所有依赖项:

brew update && brew bundle --file=arrow/cpp/Brewfile


请参阅此处以获取您可能需要的依赖项列表。

在 Debian/Ubuntu 上,您需要以下最少的依赖项:

 apt-get install build-essential cmake python3-dev

6)创建python虚拟环境

python3 -m venv pyarrow-dev
source ./pyarrow-dev/bin/activate
pip3 install -r arrow/python/requirements-build.txt

# This is the folder where we will install the Arrow libraries during
# development
mkdir dist

7)设置环境变量,让 Arrow 的构建系统知道我们的构建工具链

export ARROW_HOME=$(pwd)/dist
export LD_LIBRARY_PATH=$(pwd)/dist/lib:$LD_LIBRARY_PATH
export CMAKE_PREFIX_PATH=$ARROW_HOME:$CMAKE_PREFIX_PATH

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/369733.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

java程序员要了解的sql语句优化技巧大全

sql语句规范 MySQL在Linux系统下数据库名,表名,存储过程名,函数名称,触发器名称等区分大小写,列名不区分大小写,原因是这些操作系统下文件名称区分大小写。 MySQL在Windows系统下全部不区分大小写&#xf…

算法设计与分析期末考试复习(一)

递归 程序调用自身的编程技巧称为递归。 在调用函数时系统需要完成3件事: 将所有实参(指针),返回地址传递给被调用的函数为被调用函数的局部变量分配存储区将控制转移到被调用函数的入口 从被调用函数返回时系统也要做3件事&am…

最近一直在做优化

大家好啊,好久没写文章了,最近收到了一些朋友的微信,问还写不写文章。 当然会继续写,只不过最近工作和生活忙的焦头烂额,一直没抽出时间来好好整理下自己,重整旗鼓继续写文。 总的来说,被两件…

C语言的学习小结——数组

一、一维数组的创建与初始化 1、格式: type_t arr_name[const_n];//type_t 是指数组的元素类型 //const_n 是一个常量表达式,用来指定数组的大小 注: 数组是使用下标来访问的,下标从0开始。 数组的大小可以通过计算得到&…

问卷调查设计-SurveyJS的使用(定制)

前言 距离上一次记录SurveyJS的文章已经过去大半个月了,也该完结一下子了,正好项目结束,抽出时间记录一下使用SurveyJS过程中的做的一些自定义配置需要哪些方法及属性(这里根据个人项目需要做的一些方法总结,不包含全…

【2023】华为OD机试真题Java-题目0221-AI处理器组合

AI处理器组合 题目描述 某公司研发了一款高性能AI处理器。每台物理设备具备8颗AI处理器,编号分别为0、1、2、3、4、5、6、7。编号0-3的处理器处于同一个链路中,编号4-7的处理器处于另外一个链路中,不通链路中的处理器不能通信,如下图所示。现给定服务器可用的处理器编号数…

这才叫装机必备,这3款高质量电脑软件,内存满了也绝不卸载

闲话少说,直上狠货。 1、quicker quicker是一款指尖电脑工具,使用它实现常用操作,就在手边,点击鼠标中键,即可弹出,位置跟随鼠标,面板窗口的下半部分,它会随当前操作的软件自动加载设…

【Yolov5】保姆级别源码讲解之-推理部分detect.py文件

推理部分之detect.py文件讲解1.下载Yolov5的源码2. 主函数讲解3.文件标头的注释4. main函数的5. run函数5.1 第一块参数部分5.2第二块,传入数据预处理5.3 第三块创建文件夹5.4 第四块 加载模型的权重5.5 第五块 Dataloader 加载模块5.6 第六块 推理部分 Run inferen…

python 魔法方法之 __ slots __

python 魔法方法之 __ slots __ __ slots __ __slots__是python class的一个特殊attribute,能够节省内存空间。正常情况下,一个类的属性是以字典的形式来管理, 每个类都会有__ dict__ 方法。但是我们可以通过 设置 __ slots__ 来将类的属性构造成一个静…

input 子系统

简介 先来了解什么是输入设备? 常见的输入设备有键盘、 鼠标、 遥控杆、 书写板、 触摸屏等等,用户通过这些输入设备与 Linux 系统进行数据交换。 什么是输入系统? 输入设备种类繁多, 能否统一它们的接口? 既在驱动层面统一&…

springboot+vue邯郸地标美食导游平台

设计者应有软件程序开发方面的专业理论基础知识,有一定的分析和解决问题的能力,有一定的收集、整理、信息检索等方面的能力,善于综合、勤于思考,具有一丝不苟,精益求精,刻苦钻研的工作精神,勇于…

基于遗传算法的柔性生产调度研究(Matlab代码实现)

👨‍🎓个人主页:研学社的博客💥💥💞💞欢迎来到本博客❤️❤️💥💥🏆博主优势:🌞🌞🌞博客内容尽量做到思维缜密…

S-Paper电子纸在生产车间中的应用

S-Paper电子纸在生产车间中的应用应用背景在传统的制造企业的生产流程中,生产线上的工件信息,加工信息等等在生产前都需要生产车间打印出来,然后再分发至生产线上对应的工件工位,纸张都是使用完后都是作废销毁,这样下来…

SQL零基础入门学习(九)

SQL零基础入门学习(八) SQL UNION 操作符 UNION 操作符用于合并两个或多个 SELECT 语句的结果集。 请注意,UNION 内部的每个 SELECT 语句必须拥有相同数量的列。列也必须拥有相似的数据类型。同时,每个 SELECT 语句中的列的顺序…

Xmake v2.7.7 发布,支持 Haiku 平台,改进 API 检测和 C++ Modules 支持

layout: post.cn title: “Xmake v2.7.7 发布,支持 Haiku 平台,改进 API 检测和 C Modules 支持” tags: xmake lua C/C package modules haiku cmodules categories: xmake Xmake 是一个基于 Lua 的轻量级跨平台构建工具。 它非常的轻量,没…

Android仿京东金融的数值滚动尺功能

自定义数值滚动尺,这个用的还是挺多的,例如京东金融的通过滚动尺选择金额等,而这次就是高仿京东金融的数值滚动尺。首先看看下效果图,如下:首先先给你们各个变量的含义,以免在后面的讲解中不知变量的意思,代码如下://最…

高/低压供配电系统设计——安科瑞变电站电力监控系统的应用

摘 要:在电力系统的运行过程中,变电站作为整个电力系统的核心,在保证电力系统可靠的运行方面起着至关重要的作用,基于此需对变电站监控系统的特点进行分析,结合变电站监控系统的功能需求,对变电站电力监控系…

载誉而归!昂视荣膺CAIMRS 2023「自动化创新奖」

2月24日,由中国工控网举办的第二十一届自动化及数字化年会在苏州希尔顿酒店隆重举行,昂视受邀参加本次活动。会上,中国工控网发布了第二十一届自动化及数字化年度自动化创新奖,昂视凭借LP8000系列超高精度3D激光轮廓仪斩获“自动化…

浅谈`AI`的那些事-环境搭建

人工智能(AI)-环境搭建 目录导航人工智能(AI)-环境搭建1. 为什么人工智能(AI)首选Python?2. python在AI上的优势2.1 python在AI上的优势2.1.1 语法简单,编码少。2.1.2 内置了几乎所有的AI项目库2.1.3 开源和可用于广泛编程2.2 python的特点3. PyTorch环境…

JVM详解——垃圾回收

如果有兴趣了解更多相关内容的话,可以看看我的个人网站:耶瞳空间 GC:垃圾收集(Gabage Collection),内存处理是编程人员容易出现问题的地方,忘记或者错误的内存。不当的回收可能会导致程序或系统的不稳定甚至崩溃&…