Hive基本使用

news2025/7/14 13:11:23

Hive系列第三章


第三章 基本使用

1、 创建库:create database mydb; 
2、 查看库:show databases; 
3、 切换数据库:use mydb; 

3.1 访问Hive的方式

3.1.1 直接可以在客户端Hive进入

见2.5.8 启动hive客户端

3.1.2 使用JDBC方式

在这里插入图片描述

先知道:beeline相当于客户端,hiveserver2相当于服务端

这个需要配置一些东西

1、在hive-site.xml配置文件中添加如下信息:

<!-- hiveserver2 连接的 host -->
<property>
	<name>hive.server2.thrift.bind.host</name>
	<value>hadoop10</value>
</property>
<!-- hiveserver2 连接的端口号 -->
<property>
	<name>hive.server2.thrift.port</name>
	<value>10000</value>
</property>

2、启动hiveserver2

[root@hadoop10 bin]# pwd
/software/hive/bin
[root@hadoop10 bin]# hive --service hiveserver2

3、启动beeline客户端

[root@hadoop10 bin]# pwd
/software/hive/bin
[root@hadoop10 bin]# hive --service hiveserver2
[root@hadoop10 bin]# beeline -u jdbc:hive2://hadoop10:10000 -n root

3.2 一些基本的使用

[root@hadoop10 hive]# bin/hive -help
which: no hbase in (.:.:.:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/software/jdk/bin:/software/zk/bin:/software/hadoop/bin:/software/hadoop/sbin:/software/hive/bin:/root/bin)
Hive Session ID = 81616d71-9fbb-4c8a-a86d-3f652bc95fee
usage: hive
 -d,--define <key=value>          Variable substitution to apply to Hive
                                  commands. e.g. -d A=B or --define A=B
    --database <databasename>     Specify the database to use
 -e <quoted-query-string>         SQL from command line
 -f <filename>                    SQL from files
 -H,--help                        Print help information
    --hiveconf <property=value>   Use value for given property
    --hivevar <key=value>         Variable substitution to apply to Hive
                                  commands. e.g. --hivevar A=B
 -i <filename>                    Initialization SQL file
 -S,--silent                      Silent mode in interactive shell
 -v,--verbose                     Verbose mode (echo executed SQL to the
                                  console)

3.2.1 不进入Hive的交互窗口中执行语句

[root@hadoop10 bin]# hive -e "show databases;"
Hive Session ID = 933775ac-6ba5-4a67-90b3-22b356462f96

Logging initialized using configuration in jar:file:/software/hive/lib/hive-common-3.1.2.jar!/hive-log4j2.properties Async: true
Hive Session ID = 9c49687c-79c9-413d-862f-21ca5b5690a0
OK
default
mydb
Time taken: 1.928 seconds, Fetched: 2 row(s)
[root@hadoop10 bin]# 

3.2.2 执行某个文件中的sql语句

1、在mydb库下面创建一个表student

hive> use mydb;
OK
Time taken: 0.399 seconds
hive> show tables;
OK
Time taken: 0.092 seconds
hive> create table student(id int, name string, sex string, age int, department string) row format delimited fields terminated by ",";
OK
Time taken: 1.088 seconds
hive> show tables;
OK
student
Time taken: 0.033 seconds, Fetched: 1 row(s)
hive> select * from student;
OK
Time taken: 1.106 seconds
hive> load data local inpath "/home/data/student.txt" into table student;
Loading data to table mydb.student
OK
Time taken: 0.835 seconds
hive> select * from student;
OK
95002	李一	女	19	IS
95017	李二	女	18	IS
95018	李三	女	19	IS
95013	李四	男	21	CS
95014	李五	女	19	CS
95019	李六	女	19	IS
95020	李七	男	21	IS
95003	李八	女	22	MA
95004	李九	男	19	IS
95012	李十	女	20	CS
95010	王一	男	19	CS
95005	王二	男	18	MA
95006	王三	男	23	CS
95007	王四	女	19	MA
95008	王五	女	18	CS
95021	王六	男	17	MA
95022	王七	男	20	MA
95001	王九	男	20	CS
95011	张三	男	18	MA
95009	张四	女	18	MA
95015	张五	男	18	MA
Time taken: 0.118 seconds, Fetched: 21 row(s)
hive> 

2、在/home/data下面建一个存放sql语句的文件,并写入正确的语句

[root@hadoop10 data]# pwd
/home/data
[root@hadoop10 data]# vim file.sql
[root@hadoop10 data]# cat file.sql 
select * from mydb.student;
[root@hadoop10 data]# 

3、执行自己编写的file.sql文件

[root@hadoop10 data]# hive -f /home/data/file.sql 
which: no hbase in (.:.:.:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/software/jdk/bin:/software/zk/bin:/software/hadoop/bin:/software/hadoop/sbin:/software/hive/bin:/root/bin)
Hive Session ID = d3542b41-d012-4c53-ba3d-2c68ec119020

Logging initialized using configuration in jar:file:/software/hive/lib/hive-common-3.1.2.jar!/hive-log4j2.properties Async: true
Hive Session ID = 64154679-2a91-4383-93ba-40d427d9b87e
OK
95002	李一	女	19	IS
95017	李二	女	18	IS
95018	李三	女	19	IS
95013	李四	男	21	CS
95014	李五	女	19	CS
95019	李六	女	19	IS
95020	李七	男	21	IS
95003	李八	女	22	MA
95004	李九	男	19	IS
95012	李十	女	20	CS
95010	王一	男	19	CS
95005	王二	男	18	MA
95006	王三	男	23	CS
95007	王四	女	19	MA
95008	王五	女	18	CS
95021	王六	男	17	MA
95022	王七	男	20	MA
95001	王九	男	20	CS
95011	张三	男	18	MA
95009	张四	女	18	MA
95015	张五	男	18	MA
Time taken: 2.502 seconds, Fetched: 21 row(s)
[root@hadoop10 data]# 

4、给结果数据输出到特定的文件中

[root@hadoop10 data]# hive -f /home/data/file.sql > /home/data/file_result.txt
which: no hbase in (.:.:.:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/software/jdk/bin:/software/zk/bin:/software/hadoop/bin:/software/hadoop/sbin:/software/hive/bin:/root/bin)
Hive Session ID = 4bc46897-0bad-4866-89ee-521c6ef950af

Logging initialized using configuration in jar:file:/software/hive/lib/hive-common-3.1.2.jar!/hive-log4j2.properties Async: true
Hive Session ID = c2b7a70c-4523-4130-8a97-443a86e272d7
OK
Time taken: 2.054 seconds, Fetched: 21 row(s)
[root@hadoop10 data]# cat file_result.txt 
95002	李一	女	19	IS
95017	李二	女	18	IS
95018	李三	女	19	IS
95013	李四	男	21	CS
95014	李五	女	19	CS
95019	李六	女	19	IS
95020	李七	男	21	IS
95003	李八	女	22	MA
95004	李九	男	19	IS
95012	李十	女	20	CS
95010	王一	男	19	CS
95005	王二	男	18	MA
95006	王三	男	23	CS
95007	王四	女	19	MA
95008	王五	女	18	CS
95021	王六	男	17	MA
95022	王七	男	20	MA
95001	王九	男	20	CS
95011	张三	男	18	MA
95009	张四	女	18	MA
95015	张五	男	18	MA
[root@hadoop10 data]# 

3.2.3 在Hive的交互窗口中查看hdfs的文件系统

主要要有分号

hive> dfs -ls /;
Found 13 items
drwxrwxrwx   - root supergroup          0 2021-09-09 17:41 /aa
drwxrwxrwx   - root supergroup          0 2021-09-09 20:05 /bb
drwxr-xr-x   - root supergroup          0 2021-09-06 23:28 /test
-rw-r--r--   2 root supergroup   30881207 2021-09-06 23:33 /test_big.txt
drwx-wx-wx   - root supergroup          0 2021-09-22 19:13 /tmp
drwxr-xr-x   - root supergroup          0 2021-09-21 18:58 /user
drwxr-xr-x   - root supergroup          0 2021-09-06 23:06 /wc
drwxr-xr-x   - root supergroup          0 2021-09-02 22:29 /wcinput
drwxr-xr-x   - root supergroup          0 2021-09-22 19:19 /wcout
drwxr-xr-x   - root supergroup          0 2021-09-02 22:32 /wcoutput
-rw-r--r--   1 root supergroup         37 2021-09-09 16:56 /wordcount.txt
drwxr-xr-x   - root supergroup          0 2021-09-13 22:28 /wordout0913
drwxr-xr-x   - root supergroup          0 2021-09-13 22:33 /wordout0913_2
hive> 

3.2.4 查看在Hive中输入的历史语句命令

在用户的家目录里面,要是用root用户就在/root目录下,要是用其他的用户,就在/home/用户名目录下。

通过ls -al 查看所有文件,包含隐藏文件

通过cat .hivehistory 查看历史执行过的命令

[root@hadoop10 ~]# ls -al
total 84
dr-xr-x---. 17 root root  4096 Sep 24 15:40 .
dr-xr-xr-x. 18 root root   240 Aug 29 20:07 ..
-rw-------.  1 root root  4721 Aug 30 02:57 anaconda-ks.cfg
-rw-------.  1 root root 14042 Sep 22 22:01 .bash_history
-rw-r--r--.  1 root root    18 Dec 29  2013 .bash_logout
-rw-r--r--.  1 root root   176 Dec 29  2013 .bash_profile
-rw-r--r--.  1 root root   176 Dec 29  2013 .bashrc
drwxr-xr-x.  2 root root    21 Sep 21 18:43 .beeline
drwx------. 14 root root  4096 Aug 29 19:18 .cache
drwxr-xr-x. 14 root root   261 Aug 30 02:59 .config
-rw-r--r--.  1 root root   100 Dec 29  2013 .cshrc
drwx------.  3 root root    25 Aug 30 02:59 .dbus
drwxr-xr-x.  2 root root     6 Aug 30 02:59 Desktop
drwxr-xr-x.  2 root root     6 Aug 30 02:59 Documents
drwxr-xr-x.  2 root root     6 Aug 30 02:59 Downloads
-rw-------.  1 root root    16 Aug 30 02:59 .esd_auth
-rw-r--r--.  1 root root    60 Sep 24 15:27 .hivehistory
-rw-------.  1 root root   624 Sep  6 20:24 .ICEauthority
drwx------.  3 root root    19 Aug 30 02:59 .local
drwx------.  5 root root    66 Aug 29 19:02 .mozilla
drwxr-xr-x.  2 root root     6 Aug 30 02:59 Music
-rw-------.  1 root root    83 Sep 21 18:43 .mysql_history
-rw-------.  1 root root  3699 Aug 30 02:57 original-ks.cfg
drwxr-xr-x.  2 root root     6 Aug 30 02:59 Pictures
drwxr-xr-x.  2 root root     6 Aug 30 02:59 Public
drwx------.  2 root root    80 Aug 29 19:57 .ssh
-rw-r--r--.  1 root root   129 Dec 29  2013 .tcshrc
drwxr-xr-x.  2 root root     6 Aug 30 02:59 Templates
drwxr-xr-x.  2 root root     6 Aug 30 02:59 Videos
-rw-------.  1 root root  6108 Sep 24 15:40 .viminfo
-rw-------.  1 root root   229 Sep 24 15:35 .Xauthority
[root@hadoop10 ~]# cat .hivehistory 
show databases;
create database mydb;
show databases;
quit;
[root@hadoop10 ~]# 

3.3 一些基本的配置

3.3.1 日志位置

默认位置:/tmp/root/hive.log文件中

[root@hadoop10 root]# ll
total 156
drwx------. 2 root root      6 Sep 24 15:37 21f5331b-82cd-4d0a-be3b-3b3fc0d62180
-rw-r--r--. 1 root root      0 Sep 24 15:34 21f5331b-82cd-4d0a-be3b-3b3fc0d621806356445313698981042.pipeout
-rw-r--r--. 1 root root      0 Sep 24 15:34 21f5331b-82cd-4d0a-be3b-3b3fc0d621807985755165757000647.pipeout
drwx------. 2 root root      6 Sep 24 15:34 66a87d5b-e275-4b26-a50d-7bd7efa85a2d
-rw-r--r--. 1 root root      0 Sep 24 15:34 66a87d5b-e275-4b26-a50d-7bd7efa85a2d1344584666254365059.pipeout
-rw-r--r--. 1 root root      0 Sep 24 15:34 66a87d5b-e275-4b26-a50d-7bd7efa85a2d1624881081861789479.pipeout
-rw-r--r--. 1 root root 132489 Sep 24 15:44 hive.log
-rw-r--r--. 1 root root  23509 Sep 21 19:08 hive.log.2021-09-21
[root@hadoop10 root]# pwd
/tmp/root
[root@hadoop10 root]# cat hive.log

若想修改位置,可以按照下面的步骤操作:

1、重命名 hive-log4j2.properties.template 为  hive-log4j2.properties
2、在 hive-log4j2.properties 文件中修改 log 存放位置就可以啦
hive.log.dir=/home/data/logs  (就是你想存放的日志结果的位置)

3.3.2 打印结果的时候带上所属库和所属表

在 hive-site.xml 中加入如下配置即可

<property>
	<name>hive.cli.print.header</name>
	<value>true</value>
</property>
<property>
	<name>hive.cli.print.current.db</name>
	<value>true</value>
</property>

测试结果如下:

hive (mydb)> select * from student;
OK
student.id	student.name	student.sex	student.age	student.department
95002	李一	女	19	IS
95017	李二	女	18	IS
95018	李三	女	19	IS
95013	李四	男	21	CS
95014	李五	女	19	CS
95019	李六	女	19	IS
95020	李七	男	21	IS
95003	李八	女	22	MA
95004	李九	男	19	IS
95012	李十	女	20	CS
95010	王一	男	19	CS
95005	王二	男	18	MA
95006	王三	男	23	CS
95007	王四	女	19	MA
95008	王五	女	18	CS
95021	王六	男	17	MA
95022	王七	男	20	MA
95001	王九	男	20	CS
95011	张三	男	18	MA
95009	张四	女	18	MA
95015	张五	男	18	MA
Time taken: 0.131 seconds, Fetched: 21 row(s)
hive (mydb)> 



声明:
        文章中代码及相关语句为自己根据相应理解编写,文章中出现的相关图片为自己实践中的截图和相关技术对应的图片,若有相关异议,请联系删除。感谢。转载请注明出处,感谢。


By luoyepiaoxue2014

微博地址: http://weibo.com/luoyepiaoxue2014 点击打开链接

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/36597.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

汽车零部件加工行业工业互联网智能工厂解决方案

汽车零部件分类 汽车零部件是汽车工业发展的基础。按功能分类如下&#xff1a; 零部件分类 主要产品 发动系统 发动机总成、滤清器、气缸及部件、油箱、曲轴、凸轮轴、气门及部件、皮带、增压器、化油器、燃油喷射装置、其他发动系统 传动系统 离合器、减速器总成、变速器…

【C++ STL】-- 二叉搜索树

目录 二叉搜索树概念 二叉搜索树的应用 二叉搜索树的实现&#xff08;K模型&#xff09; 构造函数 默认拷贝构造函数 赋值运算符重载函数 普通写法&#xff1a; 进阶写法&#xff1a; 析构函数 插入函数&#xff08;Insert&#xff09;的实现 常规实现&#xff1a; …

解决Windows环境下的docker中修改了mysql的配置文件之后启动不了的问题

** 前情简介&#xff1a; ** 由于在docker中安装的mysql5.7中区分表的大小写&#xff0c;进入到mysql的命令行模式之后就修改配置文件&#xff0c;主要修改 lower_case_table_names1修改之后就启动再也启动不起来了&#xff0c;说我配置文件改错了 2022-11-25 14:47:5400:0…

ThingsBoard源码解析-消息队列

概述 消息队列是thingsboard支持集群的基础&#xff0c;比如使用Kafka可实现消息在整个服务集群中共同处理&#xff0c;提高性能。如果是内存队列&#xff0c;则无法再服务实例间共享消息。 定义 在module【common/cluster-api】的org.thingsboard.server.queue包定义了消息…

排名预测系统

排名预测系统 题目链接 题目背景&#xff1a; 本题大模拟来自真实的需求&#xff0c;即&#xff1a;综合三场网络赛的名次&#xff0c;来预计一个正式队伍在所有正式参赛队伍中的名次以此来估计自己能不能拿牌。本来只有一道题&#xff0c;即为你们看到的T5&#xff0c;经过…

【Linux kernel/cpufreq】framework ----big Little driver

Linux kernel支持ARM bigLttile框架的解决方案 一般ARM SOC包含能效和性能两个cluster&#xff0c;共8个 core&#xff0c;可以把这8个core统统开放给kernel&#xff0c;让kernel的调度器&#xff08;scheduler&#xff09;根据系统的实际情况&#xff0c;决定哪些任务应该在哪…

C++ 值传递、引用传递、指针传递

一、简介 参数传递的三种方式&#xff1a;值传递、引用传递、指针传递 二、举例如下 #if 1 值传递 引用传递 指针传递的区别void value_input(int a){cout << "值传递------函数" <<&a <<endl;a 100;}void Pointer_input(int * n){cou…

云上办公兴起,华为云桌面Workspace更靠谱

云上办公兴起&#xff0c;华为云桌面Workspace更靠谱 为了办公的便利性&#xff0c;也趁着华为云推行“实惠更实用&#xff0c;11都如愿”的主题活动&#xff0c;许多企业果断入手了华为云桌面Workspace服务&#xff0c;当亲自试用后&#xff0c;才逐渐感受使用华为云桌面Work…

FPGA+ARM异核架构,基于米尔MYC-JX8MMA7核心板的全自动血细胞分析仪

全自动血细胞分析仪是医院临床检验应用非常广泛的仪器之一&#xff0c;用来检测红细胞、血红蛋白、白细胞、血小板等项目。是基于电子技术和自动化技术的全自动智能设备&#xff0c;功能齐全&#xff0c;操作简单&#xff0c;依托相关计算机系统在数据处理和数据分析等方面具有…

脚气、灰指甲治疗实验方案

脚气 &#xff08;已临床实验&#xff09; 脚气&#xff0c;又叫足廯、香港脚。 糜烂性脚气 症状&#xff1a;80%都是这种类型。常见于多汗人群。角质层被汗水浸软&#xff0c;发白了以后&#xff0c;走动不断摩擦表皮脱落&#xff0c;露出鲜红色糜烂面&#xff0c;瘙痒剧烈&…

什么是分布式软件系统

:什么是分布式软件系统&#xff1f;分布式软件系统是什么意思&#xff1f; 分布式软件系统(Distributed Software Systems)是支持分布式处理的软件系统,是在由通信网络互联的多处理机体系结构上执行任务的系统。它包括分布式操作系统、分布式程序设计语言及其编译(解释)系统、分…

[附源码]java毕业设计疫情状况下生活物资集体团购系统

项目运行 环境配置&#xff1a; Jdk1.8 Tomcat7.0 Mysql HBuilderX&#xff08;Webstorm也行&#xff09; Eclispe&#xff08;IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持&#xff09;。 项目技术&#xff1a; SSM mybatis Maven Vue 等等组成&#xff0c;B/S模式 M…

[毕业设计]大数据电影数据分析可视化

目录 前言 课题背景和意义 实现技术思路 网页分析 索引页 详情页 反爬破解 实现效果图样例 前言 &#x1f4c5;大四是整个大学期间最忙碌的时光,一边要忙着备考或实习为毕业后面临的就业升学做准备,一边要为毕业设计耗费大量精力。近几年各个学校要求的毕设项目越来越难,…

Unity UI 框架相关的一些思考

开源地址&#xff1a; GitHub - NRatel/NRFramework.UI: 基于 Unity UGUI 的 UI 开发框架基于 Unity UGUI 的 UI 开发框架. Contribute to NRatel/NRFramework.UI development by creating an account on GitHub.https://github.com/NRatel/NRFramework.UI 简介&#xff1a;…

EMR-StarRocks 与 Flink 在汇量实时写入场景的最佳实践

作者&#xff1a; 刘腾飞 汇量后端开发工程师 阿里云开源OLAP研发团队 EMR-StarRocks介绍 阿里云EMR在年初推出了StarRocks服务&#xff0c;StarRocks是新一代极速全场景MPP&#xff08;Massively Parallel Processing&#xff09;数据仓库&#xff0c;致力于构建极速和统一分…

帝国cms后台登录系统限制次数,60分钟过后重新登录解决办法

帝国cms后台登录系统一不小心登录频繁就提示: 系统限制的登录次数不得超过5次,请等60分钟过后,方可重新登录 主要原因就是频繁的输错用户名或者密码导致登录受限 解帝国cms后台登录系统限制次数方法一:等待60分钟,然后再尝试登录 解帝国cms后台登录系统限制次数方法二:修改…

Hive之DQL操作

Hive系列第六章 &#xff08;实际是第七篇&#xff0c;就不改目录序号了&#xff0c;大家知道就行&#xff0c;后续的篇章类推即可&#xff09; 第六章 DQL查询数据 DDL&#xff1a; Data Definition Language 数据定义语言 DML&#xff1a; Data Manipulation Language …

【科学文献计量】GC.networkCoInvestigator()和GC.networkCoInvestigator()中的参数解释

@TOC 1 数据 使用官网提供的基金数据导入到python环境中 2 GC.networkCoInvestigator()中的参数解释 GC.networkCoInvestigator()中的参数解释: targetTagsL: [list]数据类型。默认为None,可以指定为Grant中研究者的标签构成的列表,很多基金中作者没有已知的标签,需要自…

最新版本EasyRecovery15个人免费版电脑数据恢复工具

最新版本EasyRecovery15是一款是款恢复率高、速度快的数据恢复软件&#xff0c;Ontrack EasyRecovery (易恢复) 跨平台支持 Windows 以及 Mac 系统&#xff0c;能能够顺利找回因各种原因丢失的文件&#xff0c;比如文件误删除、误格式化、分区丢失等&#xff0c;且EasyRecovery…

一种获得离散型周期数据的变化周期的算法

400个数据像这样&#xff1a; 152 155 155 237 24 27 27 109 152 155 155 237 24 27 27 109 152 155 155 237 24 27 27 109 152 155 155 237 24 27 27 109 152 155 155 237 24 27 27 109 152 155 155 237 24 27 27 109 152 155 155 237 24 27 27 109 152 155 155 237 24 27 27 …