千家信息网

hadoop环境搭建及修改配置文件(第四讲)

发表于:2026-11-03 作者:千家信息网编辑
千家信息网最后更新 2026年11月03日,1.设置ipservice network restart 重启网卡生效2.关闭防火墙(在hadoop中要使用到许多端口,为了避免麻烦之间对防火墙进行关闭)service iptables stop
千家信息网最后更新 2026年11月03日hadoop环境搭建及修改配置文件(第四讲)

1.设置ip

service network restart 重启网卡生效

2.关闭防火墙(在hadoop中要使用到许多端口,为了避免麻烦之间对防火墙进行关闭)

service iptables stop 关闭防火墙命令

service iptables status查看防火墙状态命令

关闭防火墙的自动运行:

查看自动运行的设置:chkconfig --list可以显示所有的设置(防火墙iptables)

过滤查看防火墙自动启动设置

chkconfig --list |(竖线) grep(过滤) iptables(过滤对象)

管道:把左侧的输出作为右侧的输入

将防火墙的自动启动设置全设置为off

chkconfig iptables off

从此后防火墙不会随着系统的重新启动自动开启了

3.设置主机名

查看主机名命令:hostname

修改主机名:hostname crxy(超人学院),这种方式只对当前会话生效,重启系统后还是没有修改

修改磁盘文件彻底改变主机名:vi /etc/sysconfig/network

重启机器后生效:reboot -h now(这儿可以不用重启系统)

4.ssh的配置操作:ssh是类似与telnet的在机器之间进行远程访问的工具,telnet是明文,ssh是加密

ssh使用的是非对称加密,有公钥密钥的问题,如图所示中访问ip需要进行密码登录

为了实现免密码登录,需要进行如下配置:

ssh-keygen -t rsa(先产生密钥),多次回车后找到your public key has been saved in

/root/.ssh/id_rsa.pub(密钥生成的公钥保存在一个目录中)

cd /root/.ssh或者cd /root/.ssh、

cp id_rsa.pub authorized_keys(图中少了s)


或者直接 cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys


也可以ssh localhost(当第一次访问的时候需要输入密码,之后就不需要输入密码了)


对于ssh 主机名的问题解决(之所以出错是因为主机名依赖于域名,之所以能够在浏览器中输入主机名访问是因为绑定了域名的缘故),绑定ip地址的方法:

5.ip与hostname绑定

vi /etc/hosts(在下一行添加192.168.42.100 crxy)(分别对于linux的ip和主机名称)

6.使用WinSCP工具软件在windows和linux之间的文件传递

传送文件:左侧找到文件,右侧打开文件,路径中修改/root为/usr/local,(其中/usr/local是自定义的安装目录,也可以自己定义),下面会话书签点击添加,之后再点击共享书签,点击添加,最后确定

这样之后local目录下会有文件,我们可以全部选中,右键点击删除


然后把hadoop文件和jdk文件拖进去即可

拖动完成后可以使用命令查看local下的文件

7.安装jdk

在安装jdk之前需要对权限进行修改,这样之后就能够使用tab键自动补全

通过./jdk...进行解压

8.安装hadoop

解压.tar.gz格式的命令: tar -xzvf hadoop-1.1.2.tar.gz

x表示解压缩,z表示压缩格式,v表示显示信息,f表示文件

配置环境变量

9.安装伪分布

修改hadoop/conf下的几个配置文件

1.hadoop-env.sh

2.core-site.xml

3.hdfs-site.xml

4.mapred-site.xml

a.修改hadoop-env.sh

b.core-site.xml

c.hdfs-site.xml

d.mapred-site.xml

这样,hadoop的配置就算完成了,剩下的工作就是启动hadoop

10.hadoop的启动

a.在启动hadoop之前须要对hadoop文件系统进行格式化(hadoop包括存储和计算两部分,类似其他文件系统一样,当一个存储空间需要使用时须要对存储空间进行格式化)

格式化的命令:hadoop namenode -format

b.hadoop文件系统启动命令:

start-all.sh

验证:在window的命令窗口下(windows已经配置好了jdk的环境变量)运行命令jps(查看java进程的命令)就能够查看java的运行进程,如果在linux中运行jps可以查看到java进程的话表示hadoop文件系统启动成功(因为hadoop是基于java开发的)

启动时没有NameNode的可能原因:

(1)没有格式化

(2)环境变量设置错误

(3)ip与hostname绑定失败


最后,我们可以通过浏览器的方式观察hadoop启动的状态,即我们可以通过windows访问:

在windows浏览器中输入http://192.168.42.100:50070(http://192.168.42.100:50070(li linux网址+端口号)或者直接输入192.168.42.100:50070即可(这是因为在windows中也可以ping通linux网络的原因),在linux的浏览器中也可以看到同样的效果(在linux浏览器中ip地址可以使用主机名代替,因为它们之间相互绑定了)

在浏览器查看中,50070查看的是NameNode的信息,50030查看的是MapReduce的信息


11.命令汇总:

































文件 命令 主机 防火墙 防火 系统 配置 格式 浏览器 浏览 输入 运行 之间 密码 环境 信息 变量 密钥 目录 进程 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 北京路客互联网科技有限公司 互联网最新的科技有限公司 上海互联网科技有限公司 互联网 科技创新 卓越科技(互联网 ) 哈尔滨新华互联网科技 恒生科技互联网指数分析 山东吉时兔互联网科技有限公司 互联网和高科技公司 央行互联网金融科技公司 北京华百购互联网科技有限公司 和信科技工业互联网 移动互联网年度科技创新 互联网保险科技创业 中和天地互联网科技有限公司 领航科技大厦互联网公司 富国互联网金融科技混合基金 昆明中奇联合互联网科技 全球科技与互联网公司市值变化 互联网科技手机排行榜 华服互联网科技靠谱吗 广州大一互联网络科技有限公司 科技创新与互联网经济 互联网与未来科技 山东吉时兔互联网科技有限公司 须眉科技是互联网公司吗 移动互联网科技股 重庆互联网医院沙龙医盟信息科技 厦门千工互联网科技有限公司 苏州铭阳互联网科技有限公司
0