Doris安装

news2025/5/21 23:44:20
Apache Doris 由百度大数据部研发(之前叫百度 Palo,2018 年贡献到 Apache 社区后, 
更名为 Doris ),在百度内部,有超过 200 个产品线在使用,部署机器超过 1000 台,单一 
业务最大可达到上百 TB
Apache Doris 是一个现代化的 MPP(Massively Parallel Processing,即大规模并行处理) 
分析型(OLAP)数据库产品。仅需亚秒级响应时间即可获得查询结果,有效地支持实时数据分析。 
Apache Doris 的分布式架构非常简洁,易于运维,并且可以支持 10PB 以上的超大数据集。
Apache Doris 可以满足多种数据分析需求,例如固定历史报表,实时数据分析,交互式数据分析和探索式数据分析等。

在这里插入图片描述

doris安装

安装前准备

  • Linux 操作系统版本需求
linux系统版本
CentOS7.1及以上
Ubunto16.04及以上
  • 软件需求
AB
软件版本
Java1.8及以上
GCC4.82及以上
  • 操作系统环境要求
    设置系统最大文件打开句柄数 ==>启动一个程序的时候,打开文件的数量就是句柄数
1.打开文件
security  /sɪˈkjʊərəti/
vi /etc/security/limits.conf 
2.在文件最后添加下面几行信息(注意* 也要赋值进去)

* soft nofile 65535 
* hard nofile 65535 
* soft nproc 65535 
* hard nproc 65535

ulimit -n 65535 临时生效

修改完文件后需要重新启动虚拟机
重启永久生效,也可以用 。


如果不修改这个句柄数大于等于60000,回头启动doris的be节点的时候就会报如下的错
File descriptor number is less than 60000. Please use (ulimit -n) to set a value equal or greater than 60000
W1120 18:14:20.934705  3437 storage_engine.cpp:188] check fd number failed, error: Internal error: file descriptors limit is too small
W1120 18:14:20.934713  3437 storage_engine.cpp:102] open engine failed, error: Internal error: file descriptors limit is too small
F1120 18:14:20.935087  3437 doris_main.cpp:404] fail to open StorageEngine, res=file descriptors limit is too small

时钟同步

Doris 的元数据要求时间精度要小于5000ms,所以所有集群所有机器要进行时钟同步,避免因为时钟问题引发的元数据不一致导致服务出现异常。

如何时间同步??
首先安装 ntpdate   
# ntpdate是一个向互联网上的时间服务器进行时间同步的软件
[root@Linux01 doris]# yum install ntpdate -y

然后开始三台机器自己同步时间

[root@Linux01 ~]# ntpdate ntp.sjtu.edu.cn

美国标准技术院时间服务器:time.nist.gov(192.43.244.18)
上海交通大学网络中心NTP服务器地址:ntp.sjtu.edu.cn(202.120.2.101)
中国国家授时中心服务器地址:cn.pool.ntp.org(210.72.145.44# 将当前时间写入bios,这样才能永久生效不变,不然reboot后还会恢复到原来的时间
clock -w 

关闭交换分区(swap)

交换分区是linux用来当做虚拟内存用的磁盘分区;
linux可以把一块磁盘分区当做内存来使用(虚拟内存、交换分区);
Linux使用交换分区会给Doris带来很严重的性能问题,建议在安装之前禁用交换分区;

1、查看 Linux 当前 Swap 分区
free -m
2、关闭 Swap 分区
swapoff -a

[root@linux01 app]# free -m
              total        used        free      shared  buff/cache   available
Mem:           5840         997        4176           9         666        4604
Swap:          6015           0        6015
[root@linux01 app]# swapoff -a

3.验证是否关闭成功
[root@linux01 app]# free -m   
              total        used        free      shared  buff/cache   available
Mem:           5840         933        4235           9         671        4667
Swap:             0           0           0

安装FE

  1. 去官网下载源码包,官网地址:https://doris.apache.org

选择你要下载的版本
在这里插入图片描述
在这里插入图片描述
2. 上传到linux
3. 解压
4. 修改配置文件

-- 去自己的路劲中找到fe.conf文件
vi /opt/app/doris/fe/conf/fe.conf 
#配置文件中指定元数据路径: 注意这个文件夹要自己创建
meta_dir = /opt/data/dorisdata/doris-meta
#修改绑定 ip(每台机器修改成自己的 ip) 
priority_networks = 192.168.17.0/24 
  1. 分发集群
#!bash
 for i in 2 3 
 do
 scp /et/profile linux0$i:/etc/profile
scp -r /opt/app/doris/ linux0$i:/opt/app/
 done
  1. 启动
进入到fe的bin目录下执行
[root@doitedu01 bin]# ./start_fe.sh --daemon

安装BE

在这里插入图片描述
进入到be的conf目录下修改配置文件
在这里插入图片描述

vi be.conf  

#配置文件中指定数据存放路径: 
storage_root_path = /opt/data/dorisdata/bedata

#修改绑定 ip(每台机器修改成自己的 ip) 
priority_networks = 192.168.17.0/24 

使用Mysql客户端连接

mysql -h doitedu01 -P 9030 -uroot

这个只是用了mysql的客户端去连接doris的fe,不是启动的mysql哦!!!并且第一次进去的话,是不需要密码的
解释:
-h  连接地址
-P  端口号
-u  账号
-p  密码

--这个可以设置可以不设置啦,正常生产过程中都会设置一个相对比较复杂的密码,学习的时候就无所谓了
--如果想设置,下面的命令就可以
SET PASSWORD FOR 'root' = PASSWORD('123456');

fe启动完成后可以查看fe的运行状态

SHOW PROC '/frontends'\G;

添加 BE 节点

ALTER SYSTEM ADD BACKEND "linux01:9050"; 
ALTER SYSTEM ADD BACKEND "linux02:9050"; 
ALTER SYSTEM ADD BACKEND "linux03:9050";

查看 BE 状态

SHOW PROC '/backends';

Alive 为 false 表示该 BE 节点还是死的

添加环境变量

#doris_fe
export DORIS_FE_HOME=/opt/app/doris1.1.4/fe
export PATH=$PATH:$DORIS_FE_HOME/bin

#doris_be
export DORIS_BE_HOME=/opt/app/doris1.1.4/be
export PATH=$PATH:$DORIS_BE_HOME/bin

启动BE

启动 BE(每个节点) 
/opt/app/doris/be/bin/start_be.sh --daemon 

启动后再次查看BE的节点
mysql -h doitedu01 -P 9030 -uroot -p 123456
SHOW PROC '/backends'; 
Alive 为 true 表示该 BE 节点存活。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/568652.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Mac app文件签名与公证

一、Mac app文件签名与公证 在钥匙串中创建要公证app的profile(公证的时候会用到) xcrun notarytool store-credentials "mac_app" --apple-id "xxxxxxxx163.com" --team-id "S24Z9326XX" --password "fnjx-qjoe-l…

PYTHON制作前后端分离的图书信息管理系统(flask+vue)

前言 嗨喽,大家好呀~这里是爱看美女的茜茜呐 本次案例,使用 flask、vue、elements-plus、axios 制作一个基于 restful api 的前后端分离的图书信息管理案例 效果展示 👇 👇 👇 更多精彩机密、教程,尽在下…

Python 的 type 函数和 isinstance 函数

type()、isinstance()都是对象类型操作函数,用于判定对象类型,用哪个函数更好哩? 【学习的细节是欢悦的历程】 Python 官网:https://www.python.org/ Free:大咖免费“圣经”教程《 python 完全自学教程》,…

数字档案馆建设指南

数字档案馆建设指南 目 录 1.总体要求 2.管理系统功能要求 3.应用系统开发和服务平台构建 4.数字档案资源建设 5.保障体系建设 1.总体要求 1.1概述 数字档案馆是指各级各类档案馆为适应信息社会日益增长的对档案信息资源管理、利用需求,运用现代信息技术对数字…

一只羊的奥秘,您可知羊是有四个胃的噢

很多人知道反刍动物,但是对于反刍动物的四个胃怎样消化,不太了解,今天小编就介绍一下,反刍动物为何需要四个胃消化食物。 反刍俗称倒嚼,是指某些动物进食经过一段时间以后将半消化的食物从胃里返回嘴里再次咀嚼。反刍主…

有效项目进度管理的 10 条规则

项目进度管理是项目中比较关键的方面之一,因为它将决定事情的进展方式、进展速度以及是否会取得进展。换句话说,它可以让你较好地控制项目,帮助你预测不可预测的情况,并使所有相关团队能够高效地协同工作。 以下是有效项目进度管…

如何在华为OD机试中获得满分?Java实现【寻找两个正序数组的中位数】一文详解!

✅创作者:陈书予 🎉个人主页:陈书予的个人主页 🍁陈书予的个人社区,欢迎你的加入: 陈书予的社区 🌟专栏地址: Java华为OD机试真题(2022&2023) 文章目录 1. 题目描述2. 输入描述3. 输出描述…

3.数据结构期末复习之栈和队列

1.栈的应用 1.括号匹配问题(还有确定他们的符号优先级) 如 2((32) * 3) /3 扫描到左括号入栈,右括号入另外一个栈,如果两个栈数量相同,则是匹配的,不保存,不然去找最少的栈,出来提示报错2.十进制转2进制 如 23转二进制10111,需要栈辅助 每次除2的余数倒过来写3.mai…

Vue3(一):创建vue3工程、setup、vue3响应式原理、computed和watch

Vue3:第一章 一、创建Vue3.0工程1.使用vue-cli创建2.使用vite创建 二、Vue3中的响应式1.拉开序幕的setup2.ref函数3.reactive函数4.vue3中响应式的原理(1)vue2中响应式原理(2)Vue3中的Proxy 5.reactive和ref的对比6.se…

性能测试如何做?超详细性能测试-测试策略总结,新人进阶之路...

目录:导读 前言一、Python编程入门到精通二、接口自动化项目实战三、Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结(尾部小惊喜) 前言 性能测试出现的初…

YOLOv5【训练train.py逐行源码及参数调参解析】超详细解读!!!建议收藏✨✨!

之前的文章介绍了YOLOv5的网络结构🚀与目录结构源码🚀以及detect.py🚀的详细解读,今天带来的是YOLOv5的 train.py 代码参数逐行解读以及注释,废话不多说,让我们一起学习YOLOv5的 train.py 源码吧&#xff0…

功能测试和自动化测试的差距在哪里?

一直以来,软件的测试主要是以手工测试为主,但是随着现代软件的复杂程度的加深,人们对使用手工方式来完成软件测试感到的越来越力不从心,同时因为在软件测试中存在着大量的重复性工作,而这种工作是比较适合机器而不是人…

rsync

配置rsync源服务器: #建立/etc/rsyncd.conf 配置文件 vim /etc/rsyncd.conf #添加以下配置项 uid root gid root use chroot yes #禁锢在源目录 address 192.168.80.10 …

​Kali-linux无线网络嗅探工具Kismet​

如果要进行无线网络渗透测试,则必须先扫描所有有效的无线接入点。刚好在Kali Linux中,提供了一款嗅探无线网络工具Kismet。使用该工具可以测量周围的无线信号,并查看所有可用的无线接入点。本节将介绍使用Kismet工具嗅探无线网络。 &#xf…

MySQL_6 自连接和外连接

目录 一、自连接 1.概述 : 2.语法 : 3.演示 : 二、外连接 1.为什么需要外连接? 2.外连接的定义 : 3.外连接的演示 : 1 左外连接 2 右外连接 3 对部门表问题的解决 一、自连接 1.概述 : 自连接是指在同一张表上的连接查询(将同一张看做两张表)&a…

R语言实践——rWCVP:按照物种的原生分布区清洗坐标点

rWCVP:按照物种的原生分布区清洗坐标点 加载库工作流(单个物种)1. 下载发现记录数据(rgbif)2. 发现记录的预备3. 获取原生区范围4. 清除非原生分布记录 加载库 library(rWCVP) library(rgbif) library(tidyverse) lib…

产品Backlog和需求管理

产品Backlog 产品backlog是一个按照价值排序的需求清单。为了达成产品目标,所有的需求都需要放到产品backlog中进行管理和规划。由产品负责人负责管理和维护。Leangoo为每一个里程碑建立了一个产品Backlog看板, 通过这个产品backlog看板来进行需求管理和规划。 里…

搭建服务器的主流中间件有哪些?如何在外网访问内网的服务?

计算机业内人士对于搭建服务器的中间件并不陌生,apache、tomcat、IIS、nginx 都是比较常用的搭建服务器的中间件,它们之间还是有一些区别差异的。今天就说说这些中间件之间有哪些区别,以及如何利用快解析实现内网主机应用让外网访问。 首先说…

大数据入门(六)- UCloud创建云服务器

一.注册UCloud账户 使用UCloud的服务,首先需要注册账户 账户注册非常简单,在UCloud网站首页(https://www.ucloud.cn/)右上角点击快速注册 二.创建VPC 1.注册成功后,选择全部产品 2.选择私有网络UVPC 3.区域选择华北…

uni-app开发小程序使用uni.chooseMedia选择图片,安卓手机无法选择图片

uni-app开发小程序时,使用uni.chooseMedia选择图片,苹果手机是正常的,安卓手机无法打开手机选择图片 问题复现解决方法!!我的反思与总结 问题复现 一、在小程序中,选择图片并上传,是一个很常见…