千家信息网

利用oozie,执行sqoop action将DB2中的数据导入到hive分区表中

发表于:2025-12-03 作者:千家信息网编辑
千家信息网最后更新 2025年12月03日,测试:利用oozie,执行sqoop action将DB2中的数据导入到hive分区表中。需要注意的地方:1,要添加hive.metastore.uris这个参数。否则无法将数据加载到hive表中。并
千家信息网最后更新 2025年12月03日利用oozie,执行sqoop action将DB2中的数据导入到hive分区表中

测试:利用oozie,执行sqoop action将DB2中的数据导入到hive分区表中。

需要注意的地方:

1,要添加hive.metastore.uris这个参数。否则无法将数据加载到hive表中。并且,如果一个xml文本中有多个这种操作的话,每个action中都需要配置这个参数。

2,要注意XML中的转义字符问题。这里我的sql中,就有一个小于号需要重写,否则执行后会说sql语句不对。

3,因为是分区表,按照每日分区,所以要从系统获取系统时间。这里没找到其他的可执行的方法,就比较麻烦的写成了这个样子:${replaceAll(timestamp(),"T.{0,}","")}

4,还要注意xmlns的版本问题。这个时候,多试几个就好了。


workflow.xml

hive.metastore.uris

thrift://192.168.20.39:9083

import

--connect

jdbc:db2://192.168.20.236:50001/sample

--username

db2inst1

--password

zheshimima

--query

select projno,projname,prstdate from project where prstdate < date(current date)-1 day and $CONDITIONS

--fields-terminated-by

"\t"

--hive-import

--target-dir

/qpf/target-dir/

--hive-table

ceshiku.tb_db2test

--null-string

"\\N"

--null-non-string

"\\N"

--hive-partition-key

shijian

--hive-partition-value

"${replaceAll(timestamp(),"T.{0,}","")}"

-m

1

Action failed,step01 error message[${wf:errorMessage(wf:lastErrorNode())}]


数据 分区表 参数 系统 问题 T. 不对 地方 多个 字符 文本 方法 时候 时间 样子 版本 语句 转义 麻烦 测试 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 如何查看数据库用户占用内存 系统激活需要重启服务器 citrix文件服务器 召开网络安全讲座 计算机等级三级网络技术试卷 怎么查看数据库表的索引结构 江北区媒体网络技术供应商家 orcl数据库如何更改网址 公安数据安全员网络安全培训 搭建监控视频取流服务器 国家电网内网时间服务器地址 无线网络技术的知名企业 校园网络操作网络安全 微服务与数据库中间件 身份认证企业 网络安全 网络安全项目经理怎么转甲方 怎样查看电脑硬盘上的数据库 网络技术会问什么问题 软件开发清单证明 经纬恒润PMT软件开发部 软件开发人员分为哪几类 易语言 远程连接数据库 asp如何复制数据库 浙江杭州模具企业erp软件开发 邵阳软件开发报价 网络安全100字心得体会 网络安全行业有外资投资商可以吗 数据库时间加减怎么算 软件开发技术报告模板下载 空间数据库的时间尺度
0