千家信息网

利用oozie,执行sqoop action将DB2中的数据导入到hive分区表中

发表于:2026-11-03 作者:千家信息网编辑
千家信息网最后更新 2026年11月03日,测试:利用oozie,执行sqoop action将DB2中的数据导入到hive分区表中。需要注意的地方:1,要添加hive.metastore.uris这个参数。否则无法将数据加载到hive表中。并
千家信息网最后更新 2026年11月03日利用oozie,执行sqoop action将DB2中的数据导入到hive分区表中

测试:利用oozie,执行sqoop action将DB2中的数据导入到hive分区表中。

需要注意的地方:

1,要添加hive.metastore.uris这个参数。否则无法将数据加载到hive表中。并且,如果一个xml文本中有多个这种操作的话,每个action中都需要配置这个参数。

2,要注意XML中的转义字符问题。这里我的sql中,就有一个小于号需要重写,否则执行后会说sql语句不对。

3,因为是分区表,按照每日分区,所以要从系统获取系统时间。这里没找到其他的可执行的方法,就比较麻烦的写成了这个样子:${replaceAll(timestamp(),"T.{0,}","")}

4,还要注意xmlns的版本问题。这个时候,多试几个就好了。


workflow.xml

hive.metastore.uris

thrift://192.168.20.39:9083

import

--connect

jdbc:db2://192.168.20.236:50001/sample

--username

db2inst1

--password

zheshimima

--query

select projno,projname,prstdate from project where prstdate < date(current date)-1 day and $CONDITIONS

--fields-terminated-by

"\t"

--hive-import

--target-dir

/qpf/target-dir/

--hive-table

ceshiku.tb_db2test

--null-string

"\\N"

--null-non-string

"\\N"

--hive-partition-key

shijian

--hive-partition-value

"${replaceAll(timestamp(),"T.{0,}","")}"

-m

1

Action failed,step01 error message[${wf:errorMessage(wf:lastErrorNode())}]


数据 分区表 参数 系统 问题 T. 不对 地方 多个 字符 文本 方法 时候 时间 样子 版本 语句 转义 麻烦 测试 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 科技互联网项目 互联网巨头反垄断金融科技 广州凡科互联网科技 科技大学互联网专业好不好 华脉科技工业互联网产品 广西拼得多互联网科技有限公司 互联网大会黑科技排名 昊天互联网科技有限公司 互联网科技与大数据专业 互联网金融科技展 滨湖区互联网智能科技产品有哪些 无锡工业互联网科技有限公司 杭州披云加互联网科技有限公司 互联网营销推广黑科技 九思连强互联网电子科技有限公司 宁波跨境商互联网科技有限公司 北京互联网科技类企业分布 易租星互联网科技有限公司 科技互联网经济论坛 陕西彩京云互联网科技有限公司 互联网科技名片 广州紫鲸互联网科技有限公司 蓝思科技飞鸽互联网 今日互联网科技 互联网金融科技创新 互联网 新科技 宁夏科技产业互联网案例 注册互联网科技公司经营范围大全 互联网第三次科技革命特征 中国新注册互联网科技
0