hive中怎么设置变量传递
发表于:2026-11-01 作者:千家信息网编辑
千家信息网最后更新 2026年11月01日,hive中怎么设置变量传递,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。### org.apache.hadoop.hive.ql.pa
千家信息网最后更新 2026年11月01日hive中怎么设置变量传递
hive中怎么设置变量传递,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。
### org.apache.hadoop.hive.ql.parse.VariableSubstitution:
public String substitute(HiveConf conf, String expr) { if (expr == null) { return expr; } if (HiveConf.getBoolVar(conf, ConfVars.HIVEVARIABLESUBSTITUTE)) { l4j.debug("Substitution is on: " + expr); } else { return expr; } int depth = HiveConf.getIntVar(conf, ConfVars.HIVEVARIABLESUBSTITUTEDEPTH); return substitute(conf, expr, depth); }123456789101112如果开启hive.variable.substitute(默认开启),则使用SystemVariables的substitute方法和hive.variable.substitute.depth(默认为40)进行进一步的判断:
protected final String substitute(Configuration conf, String expr, int depth) { Matcher match = varPat.matcher(""); String eval = expr; StringBuilder builder = new StringBuilder(); int s = 0; for (; s <= depth; s++) { match.reset(eval); builder.setLength(0); int prev = 0; boolean found = false; while (match.find(prev)) { String group = match.group(); String var = group.substring(2, group.length() - 1); // remove ${ .. } String substitute = getSubstitute(conf, var); if (substitute == null) { substitute = group; // append as-is } else { found = true; } builder.append(eval.substring(prev, match.start())).append(substitute); prev = match.end(); } if (!found) { return eval; } builder.append(eval.substring(prev)); eval = builder.toString(); } if (s > depth) { throw new IllegalStateException( "Variable substitution depth is deeper than " + depth + " for expression " + expr); } return eval; } 12345678910111213141516171819202122232425262728293031323334如果使用的${}参数超过hive.variable.substitute.depth的数量,则直接抛出异常,所以我们在语句的前面直接加上set hive.variable.substitute.depth=100; 问题解决!
set命令的执行是在CommandProcessor实现类SetProcessor里具体执行,但是substitute语句同时也会在CompileProcessor中调用,也就是在hive语句编译时就调用了,所以oozie在使用时调用beeline执行语句时,compile阶段就报出异常。
但是为什么Hue直接执行这个语句时没有问题? 因为hue在执行hive时使用的是python开发的beeswax,而beeswax是自己直接处理了这些变量,使用变量实际的值替换变量后再提交给hive执行:
def substitute_variables(input_data, substitutions): """ Replaces variables with values from substitutions. """ def f(value): if not isinstance(value, basestring): return value new_value = Template(value).safe_substitute(substitutions) if new_value != value: LOG.debug("Substituted %s -> %s" % (repr(value), repr(new_value))) return new_value return recursive_walk(f, input_data)看完上述内容,你们掌握hive中怎么设置变量传递的方法了吗?如果还想学到更多技能或想了解更多相关内容,欢迎关注行业资讯频道,感谢各位的阅读!
变量
语句
问题
方法
内容
更多
束手无策
为此
也就是
原因
参数
同时
命令
实际
对此
技能
数量
时调
是在
篇文章
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
华服互联网科技靠谱吗
中关村互联网 科技集团
互联网通讯科技
美国互联网科技巨头监管
互联网中国科技
港股互联网科技股
小马过河互联网科技
互联网科技产品
中国航天科技大学国际工业互联网
国大互联网教育科技有限公司工作
东莞新华互联网科技学校
互联网科技圈年度人物
沐思想互联网科技有限公司
皮皮虾互联网科技有限公司
领航科技大厦互联网公司
互联网风格科技公司名称
陕西九四连强互联网科技有限公司
互联网金融运营模式中的金融科技
互联网企业和网络科技有限公司
银川新华互联网科技学校招聘
互联网黑科技
互联网最新的科技
互联网最新的科技有限公司
杭州互联网科技公司
致聘互联网科技
天下捷融互联网科技
富国互联网科技创新基金
数字科技和互联网金融哪个好
北京瑞云互联网科技有限公司
颐高云石互联网科技