千家信息网

spark-local 模式 提示 /tmp/hive hdfs 权限不够的问题

发表于:2026-11-01 作者:千家信息网编辑
千家信息网最后更新 2026年11月01日,spark版本为2.0在spark 在 local 模式下启动,有时会报/tmp/hive hdfs 权限不够的问题,但是我们并没有将hdfs-site.xml配置文件放到我们的项目中,spark的文
千家信息网最后更新 2026年11月01日spark-local 模式 提示 /tmp/hive hdfs 权限不够的问题

spark版本为2.0

在spark 在 local 模式下启动,有时会报/tmp/hive hdfs 权限不够的问题,但是我们并没有将hdfs-site.xml配置文件放到我们的项目中,spark的文件应该会存在本地电脑上,但是为什么会报这个错误呢?这个问题非常诡异,有的同事会报此错误,有的则不会。都是同样的配置。

这是在2016/10/31 报的错误,之前在本地测试从来不会报这个错误,但是在这天早上2个同事反映起不来项目,我自己试了一下也起不来,同样的错误。

最终发现spark报的错误不准确,如果在windows环境下spark会去某一个盘下创建"tmp/hive/用户名" 的文件夹,在这个文件夹下存放一些临时文件,注意,这里并不是数据文件,数据文件的地址另有设置。我们发现报错的同事都是只创建了"tmp/hive"的文件夹,下面的用户名文件夹并没有创建成功,可以推断,spark在下次启动的时候,创建此文件夹出错了,所以我们把"tmp/hive"的文件夹删除,再次启动,spark就可以正常运行了,运行成功后会创建"tmp/hive/用户名" 的文件夹。

值得一提的是,本机测试之前没有出现此问题,之前都是创建在E盘下


而2016/10/31(周一)来时,spark却选择了C盘,期间,代码,配置,环境等都没有变化,这个原因到目前未能解开。

这个xiaokan的文件夹也是一定要在第一次spark启动失败后(创建了tmp/hive),后将tmp/hive删除后才能创建起来,具体原理,至今未明确。


这里补充一句,在后续我们使用spark2.1版本后,再也没有出现此问题,可能是spark2.0的坑吧。

文件 文件夹 错误 问题 会报 同事 用户 用户名 配置 成功 数据 是在 版本 环境 项目 测试 运行 不够 权限 模式 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 科技服务与互联网 期待互联网科技 奇酷互联网络科技公司 汇久创客互联网科技 壕鑫互联网络科技 赫美联合互联网科技 互联网金融 科技创新 长亮科技 互联网金融 上海亿帐通互联网科技 哈尔滨秒房互联网科技有限公司 互联网企业和科技型企业 广州恒生互联网科技有限 本届互联网博览会上的黑科技 特约风豹互联网科技为什么扣费 工业互联网山东科技大学 工业互联网科技成果转化 有人说阿里系是互联网科技企业 容联科技互联网电商 互联网科技博主张洲 互联网 科技节活动 微视频大赛 美国互联网保险保险科技 上海挚品互联网科技 互联网科技公司怎么样 燊美集互联网科技有限公司 乌鲁木齐新华智原互联网科技学校 上海京穆互联网科技有限公司 互联网第三次科技革命特征 城市宝互联网科技有限公司 艺电能源互联网科技有限公司招聘 张家口科技产业互联网平台
0