提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
文章目录
- 前言
 - 一、ETL是什么?
 - 二、数据加载工具GPLoad
 - 1.GPLoad安装部署
 - 2.编写控制文件test.yml
 
- 总结
 
前言
提示:这里可以添加本文要记录的大概内容:
GreenPlum作为一款定位为OLAP系统的分布式数据库平台,具有非常强大的ETL功能,其中存储过程和GPLoad是必须掌握的数据仓库开发工具。
提示:以下是本篇文章正文内容,下面案例可供参考
一、ETL是什么?
ETL是英文Extract-Transform-Load的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。
 ETL 是企业数据应用过程中的一个数据流(pipeline)的控制技术,把原始的数据经过一定的处理,放入数据仓库里。
 ETL的目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据。
 
二、数据加载工具GPLoad
1.GPLoad安装部署
代码如下(示例):
#在虚拟机增加了一台做ETL的服务器
192.168.1.200 gpetl
mkdir -p /gpdata/gpadmin/greenplum-db-clients
chown -R hadoop:hadoop /gpdata/gpadmin/greenplum-db-clients
root: yum install apr apr-util bzip2 libyaml libevent rsync
root:
cd /gpdata/gpadmin/greenplum-db-clients
rpm -ivh greenplum-db-clients-6.18.0-rhel7-x86_64.rpm
rpm -ivh --prefix=/gpdata/gpadmin/greenplum-db-clients/ greenplum-db-clients-6.18.1-rhel7-x86_64.rpm
#将软件赋权给实际管理员用户
ls -al
chown -Rf hadoop:hadoop /gpdata/gpadmin/greenplum-db-clients*
#设置环境变量
source /gpdata/gpadmin/greenplum-db-clients/greenplum-db-clients-6.18.1/greenplum_loaders_path.sh
 
2.编写控制文件test.yml
代码如下(示例):
VERSION: 1.0.0.1
DATABASE: gpdb 
USER: gpadmin 
HOST: 192.168.1.201 
PORT: 5432 
GPLOAD:
  INPUT:
  - SOURCE:
      LOCAL_HOSTNAME:
        - 192.168.1.200
      PORT: 8080
      FILE:
      - /home/test/test.csv #数据文件路径
  - COLUMNS:
    - id: INT8
  - MAX_LINE_LENGTH: 1000000
  - FORMAT: csv
  - DELIMITER: ','
  - HEADER: true
  OUTPUT:
  - TABLE: public.t_test #测试表,表中包含字段id 类型为INT8
  - MODE: insert
#准备数据文件test.csv
id
1
2
3
4
#执行gpload
gpload -f test.yml 
#成功导入数据则安装成功,否则根据具体提示处理
 
总结
记录点点滴滴
![[Flask]Flask零基础项目---登录demo](https://img-blog.csdnimg.cn/7c054f28a5b343a7a091126b6288d278.png)
















![[LeetCode周赛复盘] 第 321 场周赛20221127](https://img-blog.csdnimg.cn/f1e57f8d57664b7d95aa7d2ed210fde4.png)

