SparkSql读取hive表tblproperties异常如何解决
发表于:2026-11-01 作者:千家信息网编辑
千家信息网最后更新 2026年11月01日,本篇内容介绍了"SparkSql读取hive表tblproperties异常如何解决"的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希
千家信息网最后更新 2026年11月01日SparkSql读取hive表tblproperties异常如何解决
1 问题描述
2 问题原因 从报错来看,该hive表的tblproperites有问题,tblproperites中的json字段无法正常解析,导致SparkSql读取该表出错。 Hive和Impala在读取表的时候不会去解析tblproperites,因此正常。
3 问题解决
本篇内容介绍了"SparkSql读取hive表tblproperties异常如何解决"的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!
集群环境
sparksql读取Parquet 格式的hive表报错
hive的parquet表,hive和impala读取正常,使用spark-sql读取则报错
异常信息
com.fasterxml.jackson.core.JsonParseException: Unexpected end-of-input within/between Object entriesat [Source: (String)"{"type":"struct","fields":[{"name":"timestamp","type":"string","nullable":true,"metadata":{"HIVE_TYPE_STRING":"string"}},{"name":"xxx","type":"string","nullable":true,"metadata":{"HIVE_TYPE_STRING":"string"}},{"name":"xxx","type":"string","nullable":true,"; line: 1, column: 513]at com.fasterxml.jackson.core.JsonParser._constructError(JsonParser.java:1804)at com.fasterxml.jackson.core.json.ReaderBasedJsonParser._skipAfterComma2(ReaderBasedJsonParser.java:2323)at com.fasterxml.jackson.core.json.ReaderBasedJsonParser._skipComma(ReaderBasedJsonParser.java:2293)at com.fasterxml.jackson.core.json.ReaderBasedJsonParser.nextToken(ReaderBasedJsonParser.java:664)at org.json4s.jackson.JValueDeserializer.deserialize(JValueDeserializer.scala:47)at org.json4s.jackson.JValueDeserializer.deserialize(JValueDeserializer.scala:39)at org.json4s.jackson.JValueDeserializer.deserialize(JValueDeserializer.scala:32)at org.json4s.jackson.JValueDeserializer.deserialize(JValueDeserializer.scala:46)at org.json4s.jackson.JValueDeserializer.deserialize(JValueDeserializer.scala:39)at com.fasterxml.jackson.databind.ObjectReader._bindAndClose(ObjectReader.java:1611)at com.fasterxml.jackson.databind.ObjectReader.readValue(ObjectReader.java:1219)at org.json4s.jackson.JsonMethods$class.parse(JsonMethods.scala:25)at org.json4s.jackson.JsonMethods$.parse(JsonMethods.scala:55)at org.apache.spark.sql.types.DataType$.fromJson(DataType.scala:127)at org.apache.spark.sql.hive.HiveExternalCatalog$.org$apache$spark$sql$hive$HiveExternalCatalog$$getSchemaFromTableProperties(HiveExternalCatalog.scala:1382)at org.apache.spark.sql.hive.HiveExternalCatalog.restoreDataSourceTable(HiveExternalCatalog.scala:845)at org.apache.spark.sql.hive.HiveExternalCatalog.org$apache$spark$sql$hive$HiveExternalCatalog$$restoreTableMetadata(HiveExternalCatalog.scala:765)at org.apache.spark.sql.hive.HiveExternalCatalog$$anonfun$getTable$1.apply(HiveExternalCatalog.scala:734)at org.apache.spark.sql.hive.HiveExternalCatalog$$anonfun$getTable$1.apply(HiveExternalCatalog.scala:734)tblproperites不全的问题,应该是hive存储tblproperites的表,参数字段存在截断,因此找到metastore库中的TABLE_PARAMS表,检查PARAM_VALUE字段,发现该字段的长度仅为256,找到问题
将PARAM_VALUE的长度修改为8000,问题解决

"SparkSql读取hive表tblproperties异常如何解决"的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注网站,小编将为大家输出更多高质量的实用文章!
问题
字段
内容
更多
知识
长度
实用
学有所成
接下来
信息
原因
参数
困境
实际
情况
文章
时候
格式
案例
环境
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
上海喔噻互联网科技有限公司
互联网科技图片
中关村互联网科技集团
互联网科技行业发展
互联网属科技
北京互联网科技
高科技与互联网
互联网科技小额贷款
互联网科技视频素材
互联网科技宣传片
丰台科技园 互联网公司
互联网科技热点资讯
新兴科技互联网创新大赛颁奖典礼
东莞新华互联网科技学校
上海科技产业互联网平台
互联网与数字科技关系
广州燕处互联网科技有限公司
兰石爱特工业互联网科技分公司
互联网科技大佬云集
重庆科技产业互联网有哪些
中国互联网科技工作委员会毛军
今日互联网科技
网络科技有限互联网
米客互联网科技
互联网科技的未来发展
顺网科技2021年互联网排名
来此购互联网科技有限公司
中国航天科技大学国际工业互联网
互联网相关科技技术
互联网 科技节活动 微视频大赛