Flink系列之Flink集群搭建

news2025/7/10 22:26:50

title: Flink系列


二、Flink集群搭建

2.1 Flink的Standalone模式集群安装

1、上传解压重命名

[root@hadoop10 software]# tar -zxvf flink-1.14.3-bin-scala_2.12.tgz
[root@hadoop10 software]# mv flink-1.14.3 flink

在这里插入图片描述

2、进入到解压之后的目录里面修改配置文件flink-conf.yaml

[root@hadoop10 conf]# cd /software/flink/conf/
[root@hadoop10 conf]# vim flink-conf.yaml 

修改jobmanager.rpc.address 如下:

jobmanager.rpc.address: hadoop10

截图如下:

在这里插入图片描述

3、修改masters为如下

[root@hadoop10 conf]# vim masters 
[root@hadoop10 conf]# cat masters 
hadoop10:8081
[root@hadoop10 conf]# 

4、修改workers为如下

[root@hadoop10 conf]# vim workers 
[root@hadoop10 conf]# cat workers 
hadoop11
hadoop12
[root@hadoop10 conf]# 

5、分发到hadoop11、hadoop12节点

scp -r /software/flink hadoop11:/software/
scp -r /software/flink hadoop12:/software/

6、启动集群

在hadoop10上面启动

[root@hadoop10 bin]# cd /software/flink/bin/
[root@hadoop10 bin]# start-cluster.sh 
Starting cluster.
Starting standalonesession daemon on host hadoop10.
Starting taskexecutor daemon on host hadoop11.
Starting taskexecutor daemon on host hadoop12.
[root@hadoop10 bin]# 

7、启动之后各个节点上面的进程

主节点hadoop10:

[root@hadoop10 bin]# jps
5041 StandaloneSessionClusterEntrypoint
5162 Jps

从节点hadoop11:

[root@hadoop11 software]# jps
4721 TaskManagerRunner
4822 Jps

从节点hadoop12:

[root@hadoop12 software]# jps
4678 TaskManagerRunner
4782 Jps

8、浏览器中访问页面查看

访问链接: http://hadoop10:8081

正常启动之后页面如下显示:
在这里插入图片描述

2.2 其他模式后面学完一些知识之后再讲解。需要更多的理论支撑。



声明:
        文章中代码及相关语句为自己根据相应理解编写,文章中出现的相关图片为自己实践中的截图和相关技术对应的图片,若有相关异议,请联系删除。感谢。转载请注明出处,感谢。


By luoyepiaoxue2014

B站: https://space.bilibili.com/1523287361 点击打开链接
微博地址: http://weibo.com/luoyepiaoxue2014 点击打开链接

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/51624.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Hash 的定义

Hash,一般翻译做散列、杂凑,或音译为哈希。 这句话就是很多混乱的根源。 笔者还是比较时候直接使用 哈希这个翻译,或者干脆不翻译。 混乱来源 在查看很多资料的时候,经常会看到最多的一个词就是散列算法。 如果不深入追究下的…

PyQt5 数据库处理

PyQt5 数据库处理SQLite介绍连接数据库执行SQL语句创建SQLite数据库关闭窗口时断开SQLite连接数据库模型视图列表模式显示数据栅格模式分页显示数据SQLite介绍 SQLite是一个轻量级的数据库,实现了自给自足、无服务器、零配置、事务性的SQL数据库引擎。 下载地址 安…

深入理解ThreadLocal源码

1. 预备知识:强软弱虚引用 在Java中有四种引用的类型:强引用、软引用、弱引用、虚引用。 设计这四种引用的目的是可以用程序员通过代码的方式来决定对象的生命周期,方便GC。 强引用 强引用是程序代码中最广泛使用的引用,如下&a…

如何通过股票行情接口查询财务数据?

我们做交易,有时候还是需要用到一些上市公司的财务数据的,有什么板块可以快速获取财务数据呢?那肯定就是利用股票行情接口进行查询了,那具体要怎么做呢?下面这组代码可以了解一下: get_fundamentals - 查询…

Markdown格式表情包大全最新整理分享

Markdown表情包一、前言❤️二、Emoji表情大全👮People(人物)❄️Nature(自然)🔔Objects(物体)🏠Places(地点)🔟Symbols(符…

如何选择独立站ERP系统?

在选择ERP系统时所需要考虑以下几个问题,首先是看看ERP的操作流程是否简单明了。ERP最核心的作用就是提升工作效率,如果操作流程过于复杂,反倒是会增加学习成本,因此快速上手是先决条件。 其次便是需要看看功能是否符合卖家的需…

如何快速编辑图片?轻量级图片在线处理工具使用教程

不管在生活还是工作的时间里,图片都是经常会使用到的,但是可能在使用图片的时候,需要根据要求来做图片处理(在线ps 图片编辑制作工具 免费照片编辑器_压缩图)。比如我们常用的jpg、png、gif三种图片格式,经…

二叉树,平衡二叉树,B树,B+树,红黑树

1.普通树 A为整个树的根节点。而B,C,D可以看做子树的根节点,在下面分别长出三棵子树。 二、二叉树概念及结构 1.概念 一棵二叉树是结点的一个有限集合,该集合或者为空,或者是由一个根节点加上两棵别称为左子树和右子…

Python Pubg 武器自动识别与压枪 全过程记录

博文目录 文章目录环境准备压枪原理需求分析求两张图片的相似度背包检测 是否在背包界面武器识别名称识别 纯白计数法配件识别 瞄具/枪口/握把/枪托 相似对比法模式识别 全自动/半自动/单发姿态识别 站/蹲/爬余弹识别激活识别 是否持有武器/一号武器/二号武器 (未完成, 做不下去…

Qt通过ODBC连接openGauss数据库

文章目录前言一、Qt链接测试1.测试代码2.测试效果二、环境搭建1.通过ODBC连接openGauss数据库2. 环境测试三、Qt通过ODBC操作数据库1.查询数据1.插入数据3.更新数据总结前言 本文就介绍了Qt通过ODBC连接opengauss数据库的基础内容。 一、Qt链接测试 1.测试代码 在.pro文件中…

java(面向对象)的23种设计模式(11)——观察者模式

一、定义 观察者模式:指多个对象间存在一对多的依赖关系,当一个对象的状态发生改变时,所有依赖于它的对象都得到通知并被自动更新。 换种说法,定义两种对象,观察者和目标对象,多个观察者同时监听一个目标对…

高等数学基础概念的Python开发实现

一般的数学算式math函数库就可以解决了,如果是涉及到高等数学极限,微积分等知识,就需要用到sympy科学计算库,它是专门用来解决数学的运算问题的。 Sympy是一个符号计算的Python库。它的目标是成为一个全功能的计算机代数系统&…

你的团队是王者还是青铜(上)

(图片来源:https://unsplash.com/photos/RxOrX1iW15A) 4月18日早上9点30分,团队跟着大屏计时器整齐地喊出倒计时,“五、四、三、二、一”,Tech Lead 强哥和 PO 小楠相对看了一眼,一起按下了eart…

双端 Diff 算法原理解析及 snabbdom 简单实现

一、准备工作 先找个放猪的容器canvas,这里宽设置了1200&#xff0c;高设置了600 <canvas width"1200" height"600" id"canvas">当前浏览器不支持canvas元素</canvas> 然后获取它进行操作 const canvas document.getElementById(…

让人头皮发麻的Android 性能优化版块,这样简单就学会了?

对现如今的Android 开发们来讲&#xff0c;不管是在面试还是日常工作当中&#xff0c;性能优化 都是一个绕不开的难题。 以下这些场景&#xff0c;大家或多或少都有遇到过&#xff1a; 1. 当你很努力地优化了应用的性能后&#xff0c;用户依然不断抱怨应用卡顿、启动速度慢等…

005. 组合总和 II

1.题目链接&#xff1a; 40. 组合总和 II 2.解题思路&#xff1a; 树层&#xff1a;同层遍历 树枝&#xff1a;递归遍历 2.1.题目要求&#xff1a; 给定一个数组 candidates 和一个目标数 target &#xff0c;找出 candidates 中所有可以使数字和为 target 的组合。 candi…

6.终于了解volatile的原理和使用方法了

1.volatile能保证可见性 先说个案例&#xff1a; 有两个线程A和B&#xff0c;有一个公共的 boolean flag 标记位&#xff0c;最开始赋值为 true&#xff1b;B线程循环&#xff0c;根据这个flag来进行执行或者退出&#xff1b;这时线程A把flag改成false这个时候希望线程B看到变…

python安全工具开发笔记(三)——python 多线程

一、Python线程和进程 进程 进程是程序的一次执行。每个进程都有自己的地址空间、内存、数据栈及其它记录其运行轨迹的辅助数据。 线程 所有的线程运行在同一个进程当中&#xff0c;共享相同的运行环境。线程有开始顺序执行和结束三个部分。 帮助理解&#xff1a; 1、计算…

vs2019+Qt 使用 Qlabel 在界面上显示图像及显示失真问题

在使用 Qt 设计界面时&#xff0c;通常会涉及到在界面上显示图片的问题&#xff0c;而要在界面上显示图片需要使用控件 Qlabel 和 函数 QImage &#xff0c;下面对控件和函数逐一做出介绍&#xff01;&#xff01;&#xff01; 一、Qlabel 常见成员方法 1、setText(const QSt…

全国批发市场情况萧条,进销存系统或是业务转机

如今批发市场情况大不如前&#xff0c;越发惨淡&#xff0c;令人不禁扼腕叹息。让我们深入批发行业&#xff0c;撇开大环境因素&#xff0c;来究竟发现什么是导致批发市场的萧条现状的原因。 1、物流快速发展&#xff0c;失去地域优势 在90年代初&#xff0c;各地交通不便&…