安装和配置


修改文件配置:修改文件名将(sqoop-env-template.sh改为sqoop-env.sh)

编辑sqoop-env.sh内部文本,修改调用文件位置

将sqoop-env.sh,配置到全局变量中,方便调用。



查看正常运用

第一类:数据库中的数据导入到HDFS上

# sqoop import --connect Idbc:mysql:/hdp-server-01:3306/baba -username root
--password root -table bbs _detail
我们可以看到,只用到了map,就存入了数据


添加文件位置,指定 保存地址,分隔符,查询是否成功!



控制MapTask的数量(降低能耗,提高性能)



增加where 条件,来筛选要导入的数据



增加 query 语句(使用\将语句换行).继续精确要倒入的数据

一定要注意切分,不然就不知道maptask到底用什么字段去切分。


第二类:数据库的数据直接导入hive

Hdfs中的数据库的数据直接导入hive

例如:
1.为确保hdfs上存在这个数据文本,也要确保数据库中有这个表。



验证:


指定导入字段。再次测试。



关于mysql权限开放问题




















