Hive学习---4、函数

news2025/5/24 4:07:59

1、函数

1.1 函数简介

Hive会将常用的逻辑封装成函数给用户进行使用，类似java中的函数。
好处：避免用户反复写逻辑，可以直接拿来使用
重点：用户需要知道函数叫什么，能做什么

Hive提供了大量的内置函数，按照其特点大致可分为如下几类：单行函数、聚合函数、炸裂函数、窗口函数。

以下命令可用于查询所有内置函数的相关信息

--1、查看系统内置函数
show functions

--2、查看内置函数用法
desc function upper

--3查看内置函数详细信息
desc function extended upper

1.2 单行函数

单行函数的特点是一进一出，即输入一行，输出一行。
单行函数按照功能可分为如下几类：日期函数、字符串函数、集合函数、数学函数、流程控制函数。

1.2.1 算术运算函数
运算符描述
A+BA和B 相加
A-BA减去B
A*BA和B 相乘
A/BA除以B
A%BA对B取余
A&BA和B按位取与
AB
A^BA和B按位取异或
~AA按位取反
--查询出所有员工的薪水后加100显示。
select sal+100 from emp;
1.2.2 数值函数

1、round：四舍五入

select round(3.3) ;   3

2、ceil：向上取整

select ceil(3.1);   4

3、floor：向下取整

select floor(6.8);   6
1.2.3 字符串函数

1、substring：截取字符串

--语法1
--substring(string A,int start)
--返回值：string
--说明：返回字符串A从start位置到结尾的字符串

--（1）获取第二个字符以后得所有字符
select substring("zhmagoodboy",2);  hmagoodboy

--（2）获取倒数第三个字符以后得所有字符
select substring("zhmagoodboy",-3)
boy

--语法2
--substring(string A,int start,int len)
--返回值：string
--说明：返回字符串A从start位置开始，长度为len的字符串

--从第三个字符开始，向后获取2个字符
select substring("zhmagoodboy",3,2)
ma

2、replace：替换

--语法：replace(string A, string B, string C) 
--返回值：string
--说明：将字符串A中的子字符串B替换为C。

select regexp_replace('zhm','h','H')   zHm

3、regexp_replace:正则替换

--语法：regexp_replace(string A,string B,string C)
--返回值：string
--说明：将字符串A中的符合java正则表达式B的部分替换为C。注意，在有些情况下要使用转义字符。

select regexp_replace('100-200','(\\d+)','num') num-num

4、regexp：正则匹配

--语法：字符串 regexp 正则表达式
--返回值：boolean
--说明：若字符串符合正则表达式，则返回true，否则返回false。
--(1)正则匹配成功，输出true
select 'dfsaaaa' regexp 'dfsa+'; true

--(2)正则匹配失败，输出false
select 'dfsaaaa' regexp 'dfsb+'; false

5、repeat：重复字符串

--语法：repeat(string A, int n)
--返回值：string
--说明：将字符串A重复n遍。
select repeat('123',2);  123123

6、spilt：字符串切割

--语法：split(string str, string pat) 
--返回值：array
--说明：按照正则表达式pat匹配到的内容分割str，分割后的字符串，以数组的形式返回。
select spilt('a-b-c-d','-');  ["a","b","c","d"]

7、nvl：替换null值

--语法：nvl(A,B) 
--说明：若A的值不为null，则返回A，否则返回B。 
select nvl(null,1);  1

8、concat：拼接字符串

--语法：concat(string A, string B, string C, ……) 
--返回：string
--说明：将A,B,C……等字符拼接为一个字符串

select concat('beijing','-','shanghai','-','shenzhen')  beijing-shanghai-shenzhen

9、concat_ws:以指定分割符拼接字符串或者字符串数组

--语法：concat_ws(string A, string…| array(string)) 
--返回值：string
--说明：使用分隔符A拼接多个字符串，或者一个数组的所有元素。

select concat_ws('-','beijing','shanghai','shenzhen'); beijing-shanghai-shenzhen

10、get_json_object：解析json字符串

--语法：get_json_object(string json_string,string path)
--返回值：string
--说明：解析json的字符串json_string,返回path指定的内容。如果输入的json字符无效，那么返回null。

--（1）获取json数组里面取得json具体数据
select get_json_object('[{"name":"邹哥哥","sex":"男","age":"24"},{"name":"邹小哥哥","sex":"男","age":"18"}]','$.[0].name');   邹哥哥

--（2）获取json数组里面的数据
 select get_json_object('[{"name":"邹哥哥","sex":"男","age":"24"},{"name":"邹小哥哥","sex":"男","age":"18"}]','$.[0]');
输出：{"name":"邹哥哥","sex":"男","age":"24"}
1.2.4 日期函数

1、unix_timestamp:返回当前或指定时间的时间戳

--语法：unix_timestamp()
--返回值：bigint
select unix_timestamp('2022/08/08','yyyy/MM/dd HH-mm-ss')
输出:1659946088

2、from_unixtime：转化UNIX时间戳（从 1970-01-01 00:00:00 UTC 到指定时间的秒数）到当前时区的时间格式

--语法：from_unixtime(bigint unixtime[, string format]) 
--返回值：string 
select from_unixtime(1659946088);   
输出：2022-08-08 08:08:08

3、current_date：当前日期

select current_date;  
输出：2023-06-2

4、current_timestamp：当前的日期加时间，并且精确的毫秒

select current_timestamp; 
输出：2023-06-2 15:32:22.402

5、month：获取日期中的月

--语法：month (string date) 
--返回值：int 
select month('2023-06-02 08:08:08');
输出：6

6、day：获取日期中的日

--语法：day (string date) 
--返回值：int 
select day('2023-06-02 08:08:08');
输出：2

7、day：获取日期中的小时

--语法：hour (string date) 
--返回值：int 
select hour('2023-06-02 08:08:08');
输出：8

8、datediff：两个日期相差的天数（结束日期减去开始日期的天数）

--语法：datediff(string enddate, string startdate) 
--返回值：int 
select datediff('2021-08-08','2022-10-09')
输出：-427

9、data_add:日期加天数

--语法：date_add(string startdate, int days) 
--返回值：string 
--说明：返回开始日期 startdate 增加 days 天后的日期
select data_add('2023-06-02',2);
输出：2023-06-04

10、date_sub：日期减天数

--语法：date_sub (string startdate, int days) 
--返回值：string 
--说明：返回开始日期startdate减少days天后的日期。

select data_sub('2023-06-04',2);
输出：2023-06-02

11、date_format:将标准日期解析成指定格式字符串

select date_format('2023-06-02','yyyy年-MM月-dd日')
输出：2023年-06月-02月
1.2.5 流程控制函数

1、case when：条件判断函数

--语法1：case when a then b[when c then d] * [else e] end
--返回值：T
--说明：如果a是true ，则返回b；如果c为true ，则返回d；否则返回e

select case when 1=2 then 'tom' when 2=2 then 'mary' else 'tim' end from table ename;
输出结果：mary

--语法2：case a when b then c [when d then e]*[else f] end
--返回值：T
--说明：如果a等于b，那么返回c；如果a等于d，那么返回e；否则返回f

select case 100 when 50 then 'tom' when 100 then 'mary' 
else 'tim' end from tableName;
输出结果：mary

2、if：条件判断，类型java中的三元运算符

-- 语法：if(boolean testCondition,T valueTrue,T valueFalseOrNull)
-- 返回值：T
-- 说明：当条件testCondition为true时，返回valueTrue；否则返回valueFalseOrNull
--(1)条件满足，输出正确
select if(10>5,'正确','错误');
输出：正确
--(2)条件满足，输出错误
select if(10<5,'正确','错误');
输出：错误
1.2.6 聚合函数

1、size：集合中元素个数

select size(friends) from test;  --2/2  每一行数据中的friends集合里的个数

2、map：创建map集合

--语法：map(key1,value1,key2,value2,...)
--说明：根据输入的key和value对构建map类型
select map('zhm',1,'zhm2',2);
输出：{"zhm":1,"zhm2":2}

3、map_keys：返回map中的key

select map_keys(map('zhm',1,'zhm2',2))
输出：["zhm","zhm1"]

4、map_keys：返回map中的key

select map_values(map('zhm',1,'zhm2',2))
输出：[1,2]

5、array声明array集合

--语法：array(val1,val2,...)
--说明：根据输入的参数构建数组array类
select array('1','2','3','4');
输出：["1","2","3","4"]

6、array_contains：判断array中是否包含某元素

select array_contains(array('a','b','c'),'a');
输出：true

7、sort_array：将array中的元素排序

select sort_array(array('a','d','c'))
输出：['a','c','d']

8、struct声明struct中的各属性

--语法：struct(val1,val2,val3,...)
--说明：根据输入的参数构建结构体struct类
select struct('name','age','weight');
输出：{"col1":"name","col2":"age","col3":"weight"}

9、named_struct声明struct的属性和值

select named_strcut('name','zhm','age',18,'weight',80);
输出：{"name":"zhm","age":18,"weight":80}

1.3 高级聚合函数

多进一出（多行传入，一行输出）
1、collect_list() 收集并形成list集合，结果不去重

select 
  sex,
  collect_list(job)
from employee
group by  sex

结果：
女 [“行政”,“研发”,“行政”,“前台”]
男 [“销售”,“研发”,“销售”,“前台”]

2、collect_set() 收集并形成set集合，结果去重

select 
  sex,
  collect_set(job)
from employee
group by  sex

结果：
女 [“行政”,“研发”,“前台”]
男 [“销售”,“研发”,“前台”]

1.4 炸裂函数（UDTF）

UDTF（Table-generating Functions）,接受一行数据，输出一行或多行数据
在这里插入图片描述
1、数据准备
（1）表结构

moviecategory
《疑犯追踪》悬疑，动作，科幻，剧情
《Lie to me》悬疑，警匪，动作，心理，剧情
《战狼2》战争，动作，灾难

（2）建表语句

create table movie_info(
    movie string,     --电影名称
    category string   --电影分类
) 
row format delimited fields terminated by "\t";

（3）输入数据

insert overwrite table movie_info
values ("《疑犯追踪》", "悬疑,动作,科幻,剧情"),
("《Lie to me》", "悬疑,警匪,动作,心理,剧情"),("《战狼2》", "战争,动作,灾难");

2、需求
（1）根据上述电影信息表，统计各分类的电影数量，期望结果如下：

剧情2
动作3
心理1
悬疑2
战争1
灾难1
科幻1
警匪1

（2）代码实现

select cate count(*)
from (
	select movie,cate
	from (
		select movie 
		spilt(category,',') cates
		from movie_info
	) t1 lateral view explode(cates) tmp as cate
) t2
group by cate;

1.5 窗口函数（开窗函数）

1.5.1 概述

窗口函数，能为每行数据划分一个窗口，然后对窗口范围内的数据进行计算，最后将计算结果返回给该行的数据。
在这里插入图片描述

1.5.2 常用窗口函数

按照功能，常用窗口可划分如下几类：聚合函数、跨行取值函数、排名函数。
1、聚合函数
max：最大值。
min：最小值。
sum：求和。
avg：平均值。
count：计数。
2、跨行取值函数
（1）lead和lag
获取当前行的上/下边某行、某个字段的值
注意：lead和lag函数不支持自定义窗口

（2）first_value和last_value
获取窗口内某一列的第一个值/最后一个值

3、排名函数
常用的排名函数–rank、dense_rank、row_number
功能：计算排名

1.6 自定义函数

1、hive自带了一些函数，比如：max/min等，但是数量有限，自己可以通过自定义UDF来方便扩展。
2、当Hive提供的内置函数无法满足你的业务处理需求时，此时就可以考虑使用用户自定义函数（UDF：user-defined function）。
3、根据用户自定义函数类别分为以下三种：
（1）UDF（User-Defined-Function）
一进一出
（2）UDAF（User-Defined Aggregation Function）
用户自定义聚合函数，多进一出
（3）UDTF（User-Defined table-Generating Functions）
用户自定义表生成函数，一进多出

1.7 自定义UDF函数

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/602002.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

ATTCK v13版本战术介绍——凭证访问（一）

ATTCK v13版本战术介绍——凭证访问（一）

一、引言 在前几期文章中我们介绍了ATT&CK中侦察、资源开发、初始访问、执行、持久化、提权、防御规避战术&#xff0c;本期我们为大家介绍ATT&CK 14项战术中凭证访问战术第1-6种子技术&#xff0c;后续会介绍凭证访问其他子技术&#xff0c;敬请关注。 二、ATT&C…
阅读更多...
深度学习目标检测项目实战(六)-基于Faster rcnn pytorch的遥感图像检测

深度学习目标检测项目实战(六)-基于Faster rcnn pytorch的遥感图像检测

基于Faster rcnn pytorch的遥感图像检测 代码&#xff1a;https://github.com/jwyang/faster-rcnn.pytorch/tree/pytorch-1.0 数据集 使用RSOD遥感数据集&#xff0c;VOC的数据格式如下&#xff1a; RSOD是一个开放的目标检测数据集&#xff0c;用于遥感图像中的目标检测。…
阅读更多...
01_pytorch中的DataSet

01_pytorch中的DataSet

在pytorch 中&#xff0c; Dataset: 用于数据集的创建&#xff1b; DataLoader:　用于在训练过程中&#xff0c;传递获取一个batch的数据&#xff1b; 这里先介绍 pytorch 中的 Dataset 这个类&#xff0c; torch.utils.data. dataset.py 是一个表示数据集的抽象类。任何自定义…
阅读更多...
SharpContour论文精读

SharpContour论文精读

SharpContour: A Contour-based Boundary Refinement Approach for Efficient and Accurate Instance Segmentation 论文链接&#xff1a;[2203.13312] SharpContour: A Contour-based Boundary Refinement Approach for Efficient and Accurate Instance Segmentation (arxiv…
阅读更多...
[SpringBoot]Knife4j框架

[SpringBoot]Knife4j框架

Knife4j框架 Knife4j框架是一款国人开发的、基于Swagger 2的在线API文档框架。 Knife4j框架的一些主要作用和特点&#xff1a; 自动生成API文档&#xff1a;Knife4j可以根据代码中的注解和配置信息&#xff0c;自动生成API接口文档。开发者只需要在代码中添加相关注解&#…
阅读更多...
数据治理服务解决方案word

数据治理服务解决方案word

本资料是ppt格式&#xff0c;适用于方案规划、项目实施、工作汇报。本资料来源公开网络&#xff0c;仅供个人学习&#xff0c;请勿商用&#xff0c;如有侵权请联系删除。篇幅有限&#xff0c;无法完全展示&#xff0c;喜欢资料可转发评论&#xff0c;私信“方案”了解更多信息。…
阅读更多...
亚马逊、沃尔玛、eBay、wish的测评风险：源头控制与有效规避

亚马逊、沃尔玛、eBay、wish的测评风险：源头控制与有效规避

测评补单已逐渐成为跨境电商卖家的一种重要推广方式。然而&#xff0c;近期&#xff0c;一些卖家反映&#xff0c;由于平台规则日益严格&#xff0c;测评变得更为棘手。若违反评论政策并被捕获&#xff0c;卖家可能会面临一系列的处罚&#xff0c;如删除店铺所有产品的评论&…
阅读更多...
GRPC CPP 开发单向Stream服务器

GRPC CPP 开发单向Stream服务器

上周提到我们要给llama.cpp增加一个grpc入口&#xff0c;这是最终成果仓库&#xff0c;等待进一步测试后提交合并。 今天讲讲GRPC CPP开发的麻烦事情。 参考文档 Quick start | C | gRPC&#xff0c;参考文档就是官方的这篇文档了&#xff0c;安装grpc可以参考我上一篇文章&…
阅读更多...
Pycharm：通过git拉取仓库代码并创建项目环境

Pycharm：通过git拉取仓库代码并创建项目环境

一、使用pycharm打开空的文件夹 使用菜单栏&#xff1a;在 PyCharm 的菜单栏中&#xff0c;选择 "File"&#xff08;文件&#xff09;菜单&#xff0c;然后选择 "Open"&#xff08;打开&#xff09;或 "Open Folder"&#xff08;打开文件夹&…
阅读更多...
Hive3.1.3

Hive3.1.3

文章目录 1、Hive入门1.1 Hive简介1.2 Hive本质1.3 Hive架构原理 2、Hive安装2.1 Hive安装地址2.2 Hive安装部署2.2.1 安装Hive(最小化)2.2.2 启动并使用Hive 2.3 MySQL安装2.3.1 安装MySQL2.3.2 配置MySQL 2.4 配置Hive元数据存储到MySQL2.4.1 配置元数据到MySQL2.4.2 验证元数…
阅读更多...
校验表格中的多个表单

校验表格中的多个表单

要实现的效果是: 点击保存回校验当前页面的所有输入框 首先 分成两个上下两个子组件, 上面的子组件是一个表单包括规则名称和区域 下面的子组件是一个表格,表格可以是多行的,需要校验每一行的输入框 父组件调用两个子组件的校验方法, 第一个子组件可以直接校验,第二个子组件在…
阅读更多...
深度学习笔记之循环神经网络(十)基于循环神经网络模型的简单示例

深度学习笔记之循环神经网络(十)基于循环神经网络模型的简单示例

深度学习笔记之循环神经网络——基于循环神经网络模型的简单示例 引言文本表征&#xff1a; One-hot \text{One-hot} One-hot向量简单示例:文本序列的预测任务数据预处理过程生成文本数据遍历数据集&#xff0c;构建字典抓取数据&#xff0c;创建训练样本、标签字符特征与数字特…
阅读更多...
Uni-app学习从0到1开发一个app——(2)windowns环境搭配

Uni-app学习从0到1开发一个app——(2)windowns环境搭配

文章目录 0 引入1、使用HBuilderX构建工程2、使用vscode2.1 官方推荐的使用2.2 如何使用 3、总结 0 引入 工欲善其事必先利其器介绍两种开发小程序的方法&#xff0c;个人倾向于第一种&#xff0c;后续演示的的工程也是基于前者&#xff0c;毕竟官方的更有说服力。 1、使用HBu…
阅读更多...
基于yolov5开发构建枪支刀具等危险物品检测识别系统

基于yolov5开发构建枪支刀具等危险物品检测识别系统

安全始终是重如泰山的事情&#xff0c;安全事件如果能够做到早发现早制止可能结果就会完全不一样了&#xff0c;本文的核心目的很简单&#xff0c;就是想基于目标检测模型来尝试构建枪支刀具等危险物品检测识别系统&#xff0c;希望基于人工智能手段来打击犯罪行为&#xff0c;…
阅读更多...
【JavaSE】Java基础语法(四十三)：反射

【JavaSE】Java基础语法(四十三)：反射

文章目录 概述&#xff1a;1. java.lang.Class1.1 获取 Class 对象1.2 通过反射创建对象1.3 通过反射获取类的属性、方法和注解等1.3.1 反射获取构造方法1.3.2 反射通过构造器创建对象1.3.3 反射获取成员方法1.3.4 反射获取属性 2. 工具类操作3. 反射是如何破坏单例模式的4. 反…
阅读更多...
linux0.12-12-2-buffer

linux0.12-12-2-buffer

基本上看完赵老师中文解释&#xff0c;都可以自己写这部分的代码。 [622页] 12-2 buffer.c程序 从本节起&#xff0c;我们对fs/目录下的程序逐一进行说明和注释。按照本章第2节中的描述&#xff0c; 本章的程序可以被分成4个部分&#xff1a; 高速缓冲管理&#xff1b; 文件…
阅读更多...
基于ATC89C51单片机的超市临时储物柜密码锁设计

基于ATC89C51单片机的超市临时储物柜密码锁设计

点击链接获取Keil源码与Project Backups仿真图： https://download.csdn.net/download/qq_64505944/87855870?spm=1001.2014.3001.5503 源码获取 摘 要 随着微机测量和控制技术的迅速发展与广泛应用，以单片机为核心的电子密码锁的设计研发与应用在很大程度上改善了人们的…
阅读更多...
windows 部署多个tomcat

windows 部署多个tomcat

去官网下载tomcat&#xff0c;地址&#xff1a;Apache Tomcat - Apache Tomcat 8 Software Downloads 选择对应的版本下载&#xff0c;下载完成后&#xff0c;直接解压文件&#xff0c; 修改第二个解压的tomcat的catalina.bat 和 startup.bat和service.bat文件的配置&#x…
阅读更多...
iptables 基础

iptables 基础

iptables防火墙 主要实现数据包的过滤、封包重定向和网络地址转换&#xff08;NAT&#xff09;等功能 iptables&#xff1a;用户空间的命令行工具&#xff0c;用于管理配置netfilter&#xff1a;真正实现功能的是netfilter运行在内核空间 iptables的4表5链 链&#xff1a;通过…
阅读更多...
想管好数据资源，不妨了解大数据分析开源框架

想管好数据资源，不妨了解大数据分析开源框架

在如今快节奏的时代中&#xff0c;办公自动化早已成为各行各业的发展趋势和方向。随着业务量的激增&#xff0c;数据资源也不断增多&#xff0c;如果没有一套完善的大数据分析开源框架&#xff0c;那这么多的数据资源就不能很好地利用和发挥其价值&#xff0c;如果采用专业的大…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023