【Big Data】解决Hive查询出现Java.lang.OutMemoryError.java heap space

news2025/7/5 2:52:26

一、Introduction

在使用Hive时,出现了以下的问题

错误的原因是资源分配不够,但是错误的原因有很多,需要去查看日志文件观察具体的错误。

日志文件位置在 /tmp/root/hive.log

由此我们知道具体的错误原因是JVM资源分配不够

接下来可以尝试这几种方法

二、Method

2.1 方法一:本地模式

在执行Hive之前,将Hive设置为本地运行模式

set hive.exec.mode.local.auto=true;

2.2 方法二:Yarn资源分配

进入yarn-site.xml修改yarn的分配资源量

vim hadoop-3.1.3/etc/hadoop/yarn-site.xml
        <property>
                <name>yarn.scheduler.maximum-allocation-mb</name>
                <value>4096</value>
        </property> 
        <property>
                <name>yarn.scheduler.minimum-allocation-mb</name> 
                <value>4096</value>
        </property>
        <property>
                <name>yarn.nodemanager.vmem-pmem-ratio</name>
                <value>2.1</value>
        </property> 
        <property>
                <name>mapred.child.java.opts</name>
                <value>-Xmx1024m</value>
        </property>

2.3 方法三:Hive堆栈资源分配

进入hive-env.sh可以发现默认分配给Hive堆栈的资源是256MB,这个才是最根本的问题

vim apache-hive-3.1.3-bin/conf/hive-env.sh

 将资源调整到2048即可

 作者在尝试到了第三种方法问题就解决了,如果还有其他方法的欢迎在评论区进行探讨交流

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/7408.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

PE格式:手写PE结构解析工具

PE格式是 Windows下最常用的可执行文件格式,理解PE文件格式不仅可以了解操作系统的加载流程,还可以更好的理解操作系统对进程和内存相关的管理知识,而有些技术必须建立在了解PE文件格式的基础上,如文件加密与解密,病毒分析,外挂技术等,在PE文件中我们最需要关注,PE结构,导入表,…

Tech Lead如何组建你的全明星团队

当你成为 Tech lead&#xff0c;意味着你不再只是团队中的普通一员。现在你是开发团队的Leader&#xff0c;换句话讲&#xff0c;这是一支你的团队。你需要费尽心思组建和打造你的团队&#xff01; 组建搭配合理的团队 (图片来自于 pixabay) 作为Tech Lead&#xff0c;你要先…

Jmeter,将响应结果保存至csv文件,并读取csv文件

在做性能测试的时候&#xff0c;需要模拟多个不同的用户同时进行操作&#xff0c;此时可以将响应数据中的某些字段&#xff08;比如token字段&#xff09;提取出来&#xff0c;以供下一接口作为入参。 一、将响应结果中的字段提取&#xff0c;并保存至CSV文件【分为2个步骤】 …

Redis管理客户端,兼容Windows、Mac、Linux

真正的大师,永远都怀着一颗学徒的心&#xff01; 一、项目简介 Redis管理客户端&#xff0c;兼容Windows、Mac、Linux 二、实现功能 支持自定义文本视图 支持哨兵支持 Hash List Set Zset搜索支持 支持自动更新 支持SSH 通道支持 支持精确搜索 单链接支持 支持Redis&g…

外观(门面)模式

思考外观模式 正常完成一个功能需要调很多个接口&#xff0c;外观模式就是组装这些接口为一个接口&#xff0c;对外提供这一个接口&#xff0c;用户调用这一个接口就能完成原来多个接口才能完成的功能&#xff0c;简化调用 1&#xff0e;外观模式的本质 外观模式的本质是:封装交…

用户管理系统(1)

1)用户管理项目:基本功能介绍 1)登录功能:只能是超级管理员管理员登录&#xff0c;普通用户无法进行登录 2)用户的列表页面:普通用户的列表页和超级管理员的列表页 3)条件查询:组合条件查询&#xff0c;不定规则的查询&#xff0c;指定名称&#xff0c;指定籍贯&#xff0c;指定…

相控阵天线(二):非规则线阵(稀布阵列、稀疏阵列、平方率分布阵列)

概述 非规则线阵主要包括以下情况&#xff1a; 1. 不均匀间距阵列&#xff1a; a&#xff09;不均匀间距递变阵列&#xff1a;单元间距按照一定的系数递增&#xff1b; b&#xff09;稀布阵列&#xff1a;阵元间隔不是固定的&#xff0c;没有规律&#xff1b; c&#xff09;稀…

广州蓝景分享—「JavaScript」this关键字的五个重要事项

首先this 关键字是 JavaScript 中最令人困惑的部分之一&#xff0c;今天通过介绍有关它的五个重要事项来阐明其目的和用法。 1、它允许访问同一对象上的其他属性 在 JavaScript 中&#xff0c;函数可以是独立的单元&#xff0c;但它们也可以用作对象的值。 考虑下一个对象。 …

SpringFramework:循环依赖与三级缓存

循环依赖与三级缓存 文章目录循环依赖与三级缓存一、Spring 中的循环依赖问题1. Spring 中的循环依赖概述2. Spring 中的循环依赖的 5 种场景二、Spring 三级缓存1. spring 创建 bean 的流程2. 场景一&#xff1a;单例的 setter 注入3. 三级缓存4. 关于二级缓存三、循环依赖的其…

ELFK——ELK结合filebeat日志分析系统(2)

目录 一、filebeat 二、ELFK 1.原理简介 2.在ELK基础上部署filebeat ​​​​​​ELK 企业级日志分析系统&#xff08;1&#xff09;_Evens7xxX的博客-CSDN博客 紧接上一期&#xff0c;这期会介绍ELK结合filebeat的部署和使用 一、filebeat Filebeat&#xff0c;轻量级的…

Word编辑论文,实现1.题目、摘要、关键词为通栏,正文为双栏 2.首页底端添加通栏脚注,在脚注中写作者简介,并使其实现悬挂对齐效果

Q1. 如何使题目、摘要、关键词为通栏&#xff0c;而下面开始的正文为双栏&#xff1f; 将光标移动到最后一个关键词后 布局—分隔符—分节符&#xff08;连续&#xff09; 将光标移动到正文第一个大标题前 布局—页面设置—文档网格—文字排列—栏数设置为 2&#xff0c;操作…

Python如何爬取免费爬虫ip

做过大数据抓取的程序员应该都知道&#xff0c;正常市面上的爬虫ip只分为两种&#xff0c;一种是API提取式的&#xff0c;还有一种是账密形式隧道模式的。往往因为高昂费用而止步。对于初学者觉得没有必要&#xff0c;我们知道每个卖爬虫ip的网站有的提供了免费IP&#xff0c;可…

基于CentOS使用宝塔+Nginx搭建个人小H站

本文目录前言第一步 - 购置服务器第二步 - 连接服务器第三步 - 安装宝塔第四步 - 部署网站总结前言 最近心血来潮&#xff0c;恰逢帅地老哥在公众号搞活动&#xff0c;白嫖了一台服务器&#xff0c;于是打算搭一个小网站玩玩。其实早有此念头&#xff0c;只是因为懒(●ˇ∀ˇ●…

项目实战——实现注册和登录模块

目录 一、整体框架 二、实现JwtToken验证 1、添加依赖 2、编写、修改相关类 三、实现后端 API 四、实现前端的登录&#xff0c;注册界面 ps&#xff1a;本篇文章篇幅较长&#xff0c;且难度有所提升&#xff0c;希望大家耐心看完&#xff0c;种一棵树最好的时间是十年前&…

ヾ(⌐ ■_■)— HTML-CSS常用属性

目 录 1.文字的设置 (1)文字的基本属性&#xff08;font&#xff09; (2)文字的排版以及添加文字的修饰 2.颜色的设置 3.背景的设置&#xff08;background&#xff09; 4.边框的相关设置 (1)边框样式的设置&#xff08;border-style&#xff09; (2)边框宽度的设置…

操作系统4小时速成:操作系统发展和分类,运行环境:运行机制和内核,用户态非特权,核心态特权,中断技术,访管指令

操作系统4小时速成&#xff1a;操作系统发展和分类&#xff0c;运行环境&#xff1a;运行机制和内核&#xff0c;用户态非特权&#xff0c;核心态特权&#xff0c;中断技术&#xff0c;访管指令 2022找工作是学历、能力和运气的超强结合体&#xff0c;遇到寒冬&#xff0c;大厂…

有趣的 Go HttpClient 超时机制

hello&#xff0c;大家好呀&#xff0c;我是既写 Java 又写 Go 的小楼&#xff0c;在写 Go 的过程中经常对比这两种语言的特性&#xff0c;踩了不少坑&#xff0c;也发现了不少有意思的地方&#xff0c;今天就来聊聊 Go 自带的 HttpClient 的超时机制。 Java HttpClient 超时底…

Ubuntu22.04中root用户下依然权限不够,执行不了可执行文件

文章目录先看现象解决方法什么情况下会遇到这样的错误先看现象 provider是一个C语言编译得到的可执行文件。 开始&#xff0c;我直接运行它&#xff0c;告诉我权限不够然后我加上sudo运行&#xff0c;告诉我找不到命令最后我进入root用户运行&#xff0c;竟然还告诉我权限不够…

PraNet: Parallel Reverse Attention Networkfor Polyp Segmentation

Tittle:用于息肉分割的并行反向注意力网络 摘要 准确的息肉分割主要面临着两个难点&#xff1a;1&#xff09;相同类型的息肉有不同的大小&#xff0c;颜色和纹理。2&#xff09;息肉与周围粘膜的边界模糊不清晰。 为了解决这些挑战本文提出了一种并行反向注意网络ParNet。具…

10、MySQL——子查询

目录 一、子查询 1、子查询出现的位置 2、子查询结果集的形式 二、实例演示 1、查询工资高于JONES的员工 1.1 分析 1.2 代码 2、查询与SCOTT同一部门的员工 2.1 分析 2.2 代码 3、工资高于30号部门所有人的员工信息 3.1 分析 3.2 代码 4、查询工作和工资…