spark-local 模式 提示 /tmp/hive hdfs 权限不够的问题
发表于:2025-12-03 作者:千家信息网编辑
千家信息网最后更新 2025年12月03日,spark版本为2.0在spark 在 local 模式下启动,有时会报/tmp/hive hdfs 权限不够的问题,但是我们并没有将hdfs-site.xml配置文件放到我们的项目中,spark的文
千家信息网最后更新 2025年12月03日spark-local 模式 提示 /tmp/hive hdfs 权限不够的问题
spark版本为2.0
在spark 在 local 模式下启动,有时会报/tmp/hive hdfs 权限不够的问题,但是我们并没有将hdfs-site.xml配置文件放到我们的项目中,spark的文件应该会存在本地电脑上,但是为什么会报这个错误呢?这个问题非常诡异,有的同事会报此错误,有的则不会。都是同样的配置。
这是在2016/10/31 报的错误,之前在本地测试从来不会报这个错误,但是在这天早上2个同事反映起不来项目,我自己试了一下也起不来,同样的错误。
最终发现spark报的错误不准确,如果在windows环境下spark会去某一个盘下创建"tmp/hive/用户名" 的文件夹,在这个文件夹下存放一些临时文件,注意,这里并不是数据文件,数据文件的地址另有设置。我们发现报错的同事都是只创建了"tmp/hive"的文件夹,下面的用户名文件夹并没有创建成功,可以推断,spark在下次启动的时候,创建此文件夹出错了,所以我们把"tmp/hive"的文件夹删除,再次启动,spark就可以正常运行了,运行成功后会创建"tmp/hive/用户名" 的文件夹。
值得一提的是,本机测试之前没有出现此问题,之前都是创建在E盘下
而2016/10/31(周一)来时,spark却选择了C盘,期间,代码,配置,环境等都没有变化,这个原因到目前未能解开。

这个xiaokan的文件夹也是一定要在第一次spark启动失败后(创建了tmp/hive),后将tmp/hive删除后才能创建起来,具体原理,至今未明确。
这里补充一句,在后续我们使用spark2.1版本后,再也没有出现此问题,可能是spark2.0的坑吧。
文件
文件夹
错误
问题
会报
同事
用户
用户名
配置
成功
数据
是在
版本
环境
项目
测试
运行
不够
权限
模式
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
无人驾驶网络技术方案
仪器仪表国外代理服务器
济南口碑好的服务器哪家服务好
华为云服务器网络故障
北京网络技术服务价值
大学excel数据库这门课难吗
农业银行软件开发中心北京
分局网络安全大队
蒙阴县网络安全技术大队在哪
数据库怎么存歌曲
谷歌地图高清卫星地图数据库
dell 服务器 论坛
闵行区制造软件开发设备
vfp开发的软件访问数据库
鄞州手机软件开发服务
网络安全法明确禁止的活动
自助服务器能找零钱吗
上海应用技术学院数据库
网络安全平台培训会
网络安全防疫手抄报边框设计图
服务器怎么转linux
网络安全模式鼠标动不了
北邮网络安全空间
什么数据库是全文数据
服务器没公网ip
软件开发风险评估图
泰州智能化服务器供应商
工大网络安全专业
软件开发vlog
我的世界云世界服务器ip