千家信息网

如何在YARN上运行ElasticSearch

发表于:2026-11-01 作者:千家信息网编辑
千家信息网最后更新 2026年11月01日,这篇文章主要介绍"如何在YARN上运行ElasticSearch",在日常操作中,相信很多人在如何在YARN上运行ElasticSearch问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法
千家信息网最后更新 2026年11月01日如何在YARN上运行ElasticSearch

这篇文章主要介绍"如何在YARN上运行ElasticSearch",在日常操作中,相信很多人在如何在YARN上运行ElasticSearch问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答"如何在YARN上运行ElasticSearch"的疑惑有所帮助!接下来,请跟着小编一起来学习吧!

这么做的目的,主要是为了统一资源管理(cpu和内存)。一体化平台,spark,es ,mr等都在一起跑的时候,做好资源的调度。

在故事开始之前,先去把插件下载了。

插件地址

安装主要参考了官方文档

[root@master nq]# hadoop jar elasticsearch-yarn-2.1.0.BUILD-SNAPSHOT.jar No command specifiedUsage:     -download-es  : Downloads Elasticsearch.zip     -install      : Installs/Provisions Elasticsearch-YARN into HDFS     -install-es   : Installs/Provisions Elasticsearch into HDFS     -start        : Starts provisioned Elasticsearch in YARN     -status       : Reports status of Elasticsearch in YARN     -stop         : Stops Elasticsearch in YARN     -help         : Prints this helpConfiguration options can be specified _after_ each command; see the documentation for more information.[root@master nq]#

安装过程比较简单,根据文档顺序来遍就好了,可能会出现的情况就是,HDFS权限问题。

[root@master nq]# hadoop jar elasticsearch-yarn-2.1.0.BUILD-SNAPSHOT.jar -download-es[root@master nq]# hadoop jar elasticsearch-yarn-2.1.0.BUILD-SNAPSHOT.jar -install-es[root@master nq]# hadoop jar elasticsearch-yarn-2.1.0.BUILD-SNAPSHOT.jar -install[root@master nq]# hadoop jar elasticsearch-yarn-2.1.0.BUILD-SNAPSHOT.jar -start containers=2  #我启动了2个,为了副本能分配

完成后,能在HDFS下面看到2个文件

YARN这边也能看到日志和应用了

ES这边访问OK

[root@master nq]# curl localhost:9200{  "status" : 200,  "name" : "Shadowmage",  "cluster_name" : "elasticsearch",  "version" : {    "number" : "1.4.0",    "build_hash" : "bc94bd81298f81c656893ab1ddddd30a99356066",    "build_timestamp" : "2014-11-05T14:26:12Z",    "build_snapshot" : false,    "lucene_version" : "4.10.2"  },  "tagline" : "You Know, for Search"}[root@master nq]#

好了,大功告成。刚要开心的大笑,就发现了2个严重的问题,然后笑容凝固。

  1. 怎么安装插件?

  2. 数据存哪儿去了? local or hdfs

看着HDFS上的zip包,我茫然了,首先确定的是插件,肯定是没提供相应的接口了,从图1也能看出来。经过一顿纠结后,想到了2个办法。

  1. 把插件打包进zip包里面。

    1. 安装过程的,第一步,(-download-es)会把es下载到当前dowanloads目录下面,

    2. 去dowanloads里面把elasticsearch-1.4.0.zip解压,再把head等插件弄进去,压缩

    3. 替换HDFS上的zip包,

    4. stop & start

  2. 使用plugin命令安装。

jps -v|grep elastic./bin/plugin -install mobz/elasticsearch-head

jps找到ES的运行目录(-Des.path.home),然后就没有然后了。熟悉的head。到这里,其实索引文件是不是存在HDFS里面也清楚了。

到此,关于"如何在YARN上运行ElasticSearch"的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注网站,小编会继续努力为大家带来更多实用的文章!

插件 运行 学习 问题 文件 文档 更多 目录 资源 过程 帮助 实用 清楚 茫然 大功告成 接下来 一体 内存 副本 办法 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 广州为想互联网科技有限公司 与互联网科技公司 互联网医疗科技 互联网科技视频 互联网科技公司介绍 互联网科技股午盘股票涨跌 济南和联互联网科技有限公司 互联网汽车科技小镇 中国科技互联网公司收入 恒银科技与互联网金融 广州恒生互联网科技有限 互联网科技项目计划书材料类 科技类公司包括互联网吗 互联网在线教育科技创业 山东星卡互联网科技有限公司官网 本届互联网大会上的黑科技 互联网科技收购价值 同城互联网络科技 广州全民伙伴互联网科技有限公司 互联网 科技节活动 微视频大赛 科技信息互联网 深圳国际航运科技和互联网 科技互联网的估值 互联网科技实习生岗位职责 新兴科技互联网创新大赛颁奖典礼 深圳市优智互联网科技有限公司 中国互联网十大科技股排名 如何创新互联网科技 互联网科技平台产品运营 互联网科技的前景
0