linux zookeeper kafka_2.12-2.2.0 集群

news2025/8/12 4:45:47

文章目录

          • 一、zookeeper服务搭建
            • 1. 下载
            • 2. 解压
            • 3. 创建目录
            • 4. 调整配置
            • 5. 配置myid
            • 6. 开放防火墙
            • 7.启动验证zk
          • 二、kafka集群搭建
            • 2.1. 下载软件
            • 2.2. 解压
            • 2.3. 配置
            • 2.5. 启动kafka
          • 三、测试验证
            • 3.1. 创建一个主题
            • 3.2. 发送消息
            • 3.3. 消费消息

预先准备:
上传软件至服务器192.168.105.125、192.168.105.129、192.168.130
kafka_2.12-2.2.0、zookeeper-3.4.8.tar.gz

一、zookeeper服务搭建
1. 下载

同时在125、129、130节点依次执行

mkdir /app
cd /app
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.8/zookeeper-3.4.8.tar.gz
2. 解压
tar -zxvf zookeeper-3.4.8.tar.gz
3. 创建目录
cd /app/zookeeper-3.4.8
mkdir data logs
4. 调整配置
cp conf/zoo_sample.cfg conf/zoo.cfg
vim conf/zoo.cfg 

第一处:配置dataDir

dataDir=/app/zookeeper-3.4.8/data

第二处:新增配置

server.1=192.168.105.125:2288:3388
server.2=192.168.105.129:2288:3388
server.3=192.168.105.130:2288:3388
5. 配置myid
  • 125节点
vim /app/zookeeper-3.4.8/data/myid

内容:1

  • 129节点
vim /app/zookeeper-3.4.8/data/myid

内容:2

  • 130节点
vim /app/zookeeper-3.4.8/data/myid

内容:3

6. 开放防火墙

125/129/130节点依次执行

firewall-cmd --zone=public --add-port=2181/tcp --permanent
firewall-cmd --zone=public --add-port=2288/tcp --permanent
firewall-cmd --zone=public --add-port=3388/tcp --permanent
firewall-cmd --reload
firewall-cmd --list-ports
7.启动验证zk
/app/zookeeper-3.4.8/bin/zkServer.sh start  /app/zookeeper-3.4.8/conf/zoo.cfg
/app/zookeeper-3.4.8/bin/zkServer.sh status  /app/zookeeper-3.4.8/conf/zoo.cfg
二、kafka集群搭建

同时在125、129、130节点依次执行

2.1. 下载软件
wget https://archive.apache.org/dist/kafka/2.2.0/kafka_2.12-2.2.0.tgz
2.2. 解压
tar -zxvf kafka_2.12-2.2.0.tgz
2.3. 配置
cd /app/kafka_2.12-2.2.0/config
cp server.properties server.properties.bak
  • 125节点
vim server.properties

内容如下:

broker.id=1
listeners=PLAINTEXT://192.168.105.125:9092
advertised.listeners=PLAINTEXT://192.168.105.125:9092
port=9092
host.name=192.168.105.125
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/app/kafka/data
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=3
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=24
log.retention.bytes=1073741824
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.105.125:2181,192.168.105.129:2181,192.168.105.130:2181
zookeeper.connection.timeout.ms=6000
auto.create.topics.enable = false
delete.topic.enable=true
message.max.byte=52428880
log.cleanup.policy=delete
log.segment.delete.delay.ms=0
group.initial.rebalance.delay.ms=0
  • 129节点
vim server.properties

内容如下:

broker.id=2
listeners=PLAINTEXT://192.168.105.129:9092
advertised.listeners=PLAINTEXT://192.168.105.129:9092
port=9092
host.name=192.168.105.125
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/app/kafka/data
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=3
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=24
log.retention.bytes=1073741824
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.105.125:2181,192.168.105.129:2181,192.168.105.130:2181
zookeeper.connection.timeout.ms=6000
auto.create.topics.enable = false
delete.topic.enable=true
message.max.byte=52428880
log.cleanup.policy=delete
log.segment.delete.delay.ms=0
group.initial.rebalance.delay.ms=0
  • 130节点
vim server.properties

内容如下:

broker.id=3
listeners=PLAINTEXT://192.168.105.130:9092
advertised.listeners=PLAINTEXT://192.168.105.130:9092
port=9092
host.name=192.168.105.130
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/app/kafka/data
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=3
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=24
log.retention.bytes=1073741824
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.105.125:2181,192.168.105.129:2181,192.168.105.130:2181
zookeeper.connection.timeout.ms=6000
auto.create.topics.enable = false
delete.topic.enable=true
message.max.byte=52428880
log.cleanup.policy=delete
log.segment.delete.delay.ms=0
group.initial.rebalance.delay.ms=0
``
###### 2.4. 防火墙
125/129/130节点依次执行

```bash
firewall-cmd --zone=public --add-port=9092/tcp --permanent
firewall-cmd --reload
firewall-cmd --list-ports
2.5. 启动kafka

启动kafka(第一次前台)

cd /app/kafka_2.12-2.2.0
./bin/kafka-server-start.sh config/server.properties 

启动kafka(前台)

cd /app/kafka_2.12-2.2.0
./bin/kafka-server-start.sh -daemon config/server.properties 

125节点
在这里插入图片描述
129节点
在这里插入图片描述

130节点
在这里插入图片描述

三、测试验证
3.1. 创建一个主题

使用kafka,创建一个主题(topic)

bin/kafka-topics.sh --create --zookeeper 192.168.105.125:2181,192.168.105.129:2181,192.168.105.130:2181 --replication-factor 1 --partitions 1 --topic pis-business
3.2. 发送消息
bin/kafka-console-producer.sh --broker-list 192.168.105.125:9092 --topic pis-business

在这里插入图片描述

3.3. 消费消息
 bin/kafka-console-consumer.sh --bootstrap-server 192.168.105.125:9092  --from-beginning --topic pis-business

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/33592.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

使用Avalonia跨Linux平台

Avalonia,读:阿瓦隆尼亚 这里的跨平台指的是,使用c#语言开发跨Linux平台。c#在Windows桌面开发中很强,但是在Linux桌面中,不能跨平台,Qt可以在Linux中跨平台,但是那是另外一门语言了。Avalonia…

计算机组成原理4小时速成:计算机运算方法,无符号数和有符号数,定点数和浮点数,移位运算,加减运算,乘法运算,原码,反码,补码

计算机组成原理4小时速成:计算机运算方法,无符号数和有符号数,定点数和浮点数,移位运算,加减运算,乘法运算,原码,反码,补码 2022找工作是学历、能力和运气的超强结合体&…

[激光原理与应用-16]:《激光原理与技术》-2- 光的本质(粒子、波动说、电磁波、量子)

目录 前言:“光” 一、光的微粒说 - 牛顿 二、光的波动说 - 托马斯杨 惠更斯 三、光是电磁波 - 麦克斯韦 四、光的波动说受到的挑战,光的波动说重新唤醒 五、光量子假说 - 爱因斯坦 六、光的理论综合 七、光的重要特性 7.1 光的相干性 7.2 相…

安装ideaIU-2022.1.4报错问题解决办法

原来版本是2020 现在因为要用到JDK17 而IDEA2020支持的JDK只能到14 所以我们现在在下载一个2022 .1.4 这时我们安装好后 会发现如下错误 原因分析: JetBrains 会将各个产品的这些文件也放到这个目录中,而新版本的 IntelliJ IDEA 在安装时遭遇了旧版本…

Web(二)html5基础-文本控制类标签(知识训练和编程训练)

web知识训练_html5_文本控制类标签 第1关_web知识训练_html5_文本控制类标签 -------------------------------------------- web编程训练_html5_文本控制类标签 第1关_html5_网页背景及标题段落标签 编程要求 根据前面的效果图,在右侧编辑器中的Begin - End区域…

10K涨到30K,5年大厂横跳,经验全在这两份Java面试精华总结里了

为了帮助大家跳槽成功多长点薪资,我这边给大家准备了两份面试资料。这两份资料可大有来头,已经帮助五位我认识的人进入大厂。所以说含金量还是很高的。 这两份资料可以让你体验到原有知识从破碎到重建,豁然开朗的过程。5年大厂横跳真实案例加…

数据库事务

1 概述 数据库的事务(Transaction)是一种机制、一个操作序列,包含了一组数据库操作命令。 事务把所有的命令作为一个整体一起向系统提交或撤销操作请求,即这一组数据库命令要么同时成功,要么同时失败。 事务是一个不可…

前端开发——HTML5新增的客户端校验

1.使用校验属性执行校验 HTML5新增了表单的校验属性,如required、pattern等。 required:定义表单不能为空。属性值是required或者省略.pattern:定义表单满足正则表单式1.required属性 required属性用于不能为空。属性值是required或者省略. 代码如下&#xff1a; <form …

34 - 数组操作符的重载

---- 整理自狄泰软件唐佐林老师课程 1. 问题一 string类对象具备C方式字符串的灵活性吗&#xff1f;还能直接访问单个字符吗&#xff1f; 1.1 字符串类的兼容性 string类最大限度的考虑了C字符串的兼容性可以按照使用C字符串的方式使用string对象 1.2 编程实验&#xff1a…

BUUCTF Reverse/[GWCTF 2019]re3

main函数代码&#xff0c;这里改写了内存空间的属性&#xff0c;还是自解密 void __fastcall __noreturn main(int a1, char **a2, char **a3) {int i; // [rsp8h] [rbp-48h]char s[40]; // [rsp20h] [rbp-30h] BYREFunsigned __int64 v5; // [rsp48h] [rbp-8h]v5 __readfsqwo…

在Thymeleaf中格式化日期

1. 简介 在本文中&#xff0c;我们将介绍在百里香叶模板中格式化日期的方法。我们将使用 Thymeleaf 引擎中提供的特殊#calendars实用程序&#xff0c;该实用程序是为模板上的日期操作而创建的。 2. 使用实用程序类#calendar Thymeleaf带有一个名为#calendars的特殊实用程序类…

万字长文:从实践到原理说透Golang defer

本从以go-1.16版本源码为基础&#xff0c;介绍了defer关键字的使用规则、实现原理和优化路线&#xff0c;最后介绍了几种将近的使用场景。试图对 go defer 关键字应用到实现原理有一个全面的了解。 欢迎关注公众号闲余说 defer 概述 Go 提供关键字defer 处理延迟调用问题。在语…

超详细BootLoader原理分析

【摘要】本文详细地介绍了基于嵌入式系统中的 OS 启动加载程序 ―― BootLoader 的概念、软件设计的主要任务以及结构框架等内容。 在拿到空PCB板之后&#xff0c;硬件工程师首先会测试各主要线路是否通连&#xff08;各焊点是否有空焊、断接或短路的情况&#xff09;&#xff…

黑群辉+腾讯云+frp内网穿透

说明 家里用了移动宽带&#xff08;套餐便宜&#xff09;&#xff0c;结果没有了公网IP&#xff0c;只能想别的办法。 现在网上的方法大概三种 1. 第三方服务器代理&#xff1b; 要花钱&#xff0c;放弃! 2. frp穿透&#xff1b; 需要需要一台有公网IP的云服务器&#xff0…

线代——基础解系 vs 特征向量

基础解系 基础解系的概念是针对方程而言的&#xff1b;齐次线性方程组的解集的最大无关组称为齐次线性方程的基础解系&#xff1b;要求齐次线性方程组的通解&#xff0c;只需求出它的基础解系。 【例】 特征向量 特征向量和特征值满足关系式 AαλαA\alpha \lambda \alpha…

超融合兼顾医疗信创及 IT 云化转型的可行性分析

近期&#xff0c;中央出台财政贴息专项再贷款等“组合拳”政策&#xff0c;重点支持医疗、教育等关键行业的设备更新改造&#xff0c;同时央行将优先审核和支持对国产自主品牌的采购。这一系列动作表明&#xff0c;医疗行业的国产化替代&#xff08;即信息技术应用创新&#xf…

计算机组成原理习题课第一章-2(唐朔飞)

计算机组成原理习题课第一章-2&#xff08;唐朔飞&#xff09; ✨欢迎关注&#x1f5b1;点赞&#x1f380;收藏⭐留言✒ &#x1f52e;本文由京与旧铺原创&#xff0c;csdn首发&#xff01; &#x1f618;系列专栏&#xff1a;java学习 &#x1f4bb;首发时间&#xff1a;&…

DHCP option 43是什么

背景 当AP和AC在同一个网段时&#xff0c;AP会主动发送广播报文&#xff0c;就能直接找到网段内的AC。当AP和AC在不同网段时&#xff0c;广播报文无法跨网段传播&#xff0c;只能在AP上指定AC IP地址&#xff0c;AP才能找到AC进行上线。 如果AP数量只有几个&#xff0c;可以采…

html里面的伪元素是什么?如何操作?

前言 在html中&#xff0c;有些小标签不想用具体的标签去写&#xff0c;就会用到伪元素&#xff0c;那么伪元素是什么呢&#xff0c;该如何使用呢&#xff1f; 一、伪元素是什么&#xff1f; 伪元素相当于在一个盒子内部产生一个行内盒子 二、使用步骤 1.创建一个盒子 <!…

学习架设传奇入门必读的好文章

很高兴今天能有时间给大家来说说一些事情&#xff0c;相信不少传奇爱好者都想自己开一个单机传奇&#xff0c;但是总认为自己思维没别人好&#xff0c;总感觉传奇技术这些是天赋的&#xff01;站长现在可以告诉大家&#xff0c;人的成功与天赋无关&#xff0c;但和努力是很相连…