CentOS7环境下搭建MFS分布式文件系统

MFS原理

MFS是一个具有容错性的网络分布式文件系统，它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。

MFS文件系统组成介绍

MFS文件系统组成图示

MFS读取数据处理过程：

• Client向Master发出读请求

• Master把所需的数据存放位置（Chunk IP&Chunk No.）告知Client

• Client向Chunk发送数据请求

• Chunk向Client发送数据

MFS写入数据处理过程：

• Client向Master发出写入请求

• Master与Chunk进行交互，但Master只在某些服务器创建新的分块Chunks，创建成功后由Chunk告知Master创建成功

• Master告知Client可以在哪个Chunk的哪些Chunks写入数据

• Client向指定的Chunk写入数据

• Chunk与其他Chunk进行数据同步，同步成功后Chunk告知Client写入数据成功

• Client告知Master本次写入完毕

实验环境介绍：

192.168.218.156

实验步骤：

安装master server:

yum install gcc gcc-c++ zlib-devel -y

useradd -s /sbin/nologin mfs

tar zxvf mfs-1.6.27-5.tar.gz -C /opt

cd /opt/mfs-1.6.27/

./configure \

--prefix=/usr/local/mfs \

--with-default-user=mfs \

--with-default-group=mfs \

--disable-mfschunkserver \ #禁用Chunk功能

--disable-mfsmount #禁用Client功能

make && make install

cd /usr/local/mfs/etc/mfs/

cp mfsexports.cfg.dist mfsexports.cfg #使挂载权限配置文件生效

cp mfsmaster.cfg.dist mfsmaster.cfg #使master主配置文件生效

cp mfstopology.cfg.dist mfstopology.cfg #使拓扑架构感知配置文件生效

cd /usr/local/mfs/var/mfs/

cp metadata.mfs.empty metadata.mfs # 使防断链文件生效

/usr/local/mfs/sbin/mfsmaster start

systemctl stop firewalld.service

setenforce 0

netstat -ntap | grep mfs

#/usr/local/mfs/sbin/mfsmaster -s #停止服务

搭建MetaLogger server:

yum install gcc gcc-c++ zlib-devel -y

useradd -s /sbin/nologin mfs

tar zxvf mfs-1.6.27-5.tar.gz -C /opt

cd /opt/mfs-1.6.27/

./configure \

--prefix=/usr/local/mfs \

--with-default-user=mfs \

--with-default-group=mfs \

--disable-mfschunkserver \

--disable-mfsmount

make && make install

cd /usr/local/mfs/etc/mfs/

cp mfsmetalogger.cfg.dist mfsmetalogger.cfg #使日志配置文件生效

vim mfsmetalogger.cfg

MASTER_HOST = 192.168.218.130 #指定Master服务器地址

cd /usr/local/mfs/var/mfs/

cp metadata.mfs.empty metadata.mfs #使防断链文件生效

/usr/local/mfs/sbin/mfsmaster start

systemctl stop firewalld.service

setenforce 0

搭建两台Chunk服务器:

yum install gcc gcc-c++ zlib-devel -y

useradd -s /sbin/nologin mfs

tar zxvf mfs-1.6.27-5.tar.gz -C /opt

cd /opt/mfs-1.6.27/

./configure \

--prefix=/usr/local/mfs \

--with-default-user=mfs \

--with-default-group=mfs \

--disable-mfsmaster \

--disable-mfsmount

make && make install

cd /usr/local/mfs/etc/mfs/

cp mfschunkserver.cfg.dist mfschunkserver.cfg #使chunk配置文件生效

cp mfshdd.cfg.dist mfshdd.cfg #使硬盘提供存储空间配置文件生效

vim mfschunkserver.cfg

MASTER_HOST = 192.168.218.130

vim mfshdd.cfg

/data

mkdir /data

chown -R mfs.mfs /data/

/usr/local/mfs/sbin/mfschunkserver start #启动服务

systemctl stop firewalld.service

setenforce 0

netstat -ntap | grep mfs

Client配置

systemctl stop firewalld.service

setenforce 0

yum install gcc gcc-c++ zlib-devel -y

tar zxvf fuse-2.9.2.tar.gz -C /opt #内核加载包

cd /opt/fuse-2.9.2/

./configure

make && make install

vim /etc/profile

export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH

source /etc/profile

安装mfs客户端

useradd -s /sbin/nologin mfs

tar zxvf mfs-1.6.27-5.tar.gz -C /opt

cd /opt/mfs-1.6.27/

./configure \

--prefix=/usr/local/mfs \

--with-default-user=mfs \

--with-default-group=mfs \

--disable-mfsmaster \

--disable-mfschunkserver \

--enable-mfsmount

make && make install

mkdir /opt/mfs

modprobe fuse #加载fuse模块到内核

/usr/local/mfs/bin/mfsmount /opt/mfs -H 192.168.218.130 #挂载MFS服务

优化客服端

vim /etc/profile

export PATH=/usr/local/mfs/bin:$PATH

source /etc/profile

echo 'this is test!' > /opt/mfs/abc.txt

mfssetgoal -r 2 /opt/mfs #设置文件被复制的份数，-r表示递归

/opt/mfs:

inodes with goal changed: 2

inodes with goal not changed: 0

inodes with permission denied: 0

mfsgetgoal -r /opt/mfs #查看复制文件的份数

/opt/mfs/abc.txt: 2

mfsfileinfo /opt/mfs/abc.txt #查看实际副本份数及其所在的节点

/opt/mfs/abc.txt:

chunk 0: 0000000000000001_00000001 / (id:1 ver:1)

copy 1: 192.168.218.145:9422

copy 2: 192.168.218.156:9422

MASTER-Server----------------启动监控程序

[root@master mfs]# /usr/local/mfs/sbin/mfscgiserv

lockfile created and locked

starting simple cgi server (host: any , port: 9425 , rootpath: /usr/local/mfs/share/mfscgi)

访问：http://192.168.218.130:9425查看MFS监控网页