linux下快速拷贝大文件的方法

这篇文章主要讲解了linux下快速拷贝大文件的方法，内容清晰明了，对此有兴趣的小伙伴可以学习一下，相信大家阅读完之后会有帮助。

拷贝数据

远程拷贝数据的时候，我们一般使用rsync命令，但是如果拷贝大量的小文件，会导致rsync的传输速度慢。使用tar pv lz4打包压缩传输，可以解决这问题，使用这个方法，等同于使用scp、rsync传输大文件。

实测，使用rsync传输1200G，单个文件大小为几十KB~2GB,千兆网卡，需要同时跑6个rsync才能把带宽跑满，每个速度20MB左右，速度波动大。每分钟可以拷贝4.5GB左右。

但是，使用tar pv lz4，跑一个就可以了，而且速度波动小。每分钟可以拷贝6.8GB左右。

rsync使用例子

rsync安装：yum install -y rsync

# 推送[root@vm5 ~]# rsync -auvzP -e "ssh -p22" mssh.tar.gz root@192.168.176.11:/data/sending incremental file listmssh.tar.gz     1,977 100%  0.00kB/s  0:00:00 (xfr#1, to-chk=0/1)sent 2,069 bytes received 35 bytes 4,208.00 bytes/sectotal size is 1,977 speedup is 0.94# 拉取[root@vm5 ~]# rm -f mssh.tar.gz[root@vm5 ~]# rsync -auvzP -e "ssh -p22" root@192.168.176.11:/data/mssh.tar.gz .receiving incremental file listmssh.tar.gz     1,977 100%  1.89MB/s  0:00:00 (xfr#1, to-chk=0/1)sent 43 bytes received 2,069 bytes 4,224.00 bytes/sectotal size is 1,977 speedup is 0.94

参数auvzP解释：参数a是归档传输，保留文件属性，u是更新传输，源文件修改时间较新，则传输。v是显示详细过程，z是压缩传输，P是断点传输。

注意：rsync 传输文件夹时候，folder/ 带/则是传输目录下的文件，不带/是把文件夹也传输过去。

使用压缩传输

安装pv、lz4工具

注意：服务器两端都要安装。

pv在yum源里面没有，可以到pv官网找

# 去pv官网，搞到个rpm包链接，直接rpm命令安装[root@vm5 ~]# rpm -ivh http://www.ivarch.com/programs/rpms/pv-1.6.6-1.x86_64.rpm获取http://www.ivarch.com/programs/rpms/pv-1.6.6-1.x86_64.rpm警告：/var/tmp/rpm-tmp.mFbA6u: 头V3 DSA/SHA1 Signature, 密钥 ID 3fc56f51: NOKEY准备中...             ################################# [100%]正在升级/安装...  1:pv-1.6.6-1            ################################# [100%]  # lz4 可以直接yum安装  [root@vm5 ~]# yum install -y lz4

使用

[root@vm5 ~]# time tar -c go |pv |lz4 -B4 |ssh -p22 -c aes128-ctr 192.168.176.11 "lz4 -d |tar -xC /data/"using blocks of size 64 KB18.1MiB 0:00:00 [49.5MiB/s] [  <=>                                                                                   ]real    0m0.376suser    0m0.080ssys    0m0.108s# 对比rsync[root@vm5 ~]# time rsync -auvzP -e "ssh -p22" go 192.168.176.11:/data/......sent 11,741,677 bytes received 10,451 bytes 7,834,752.00 bytes/sectotal size is 18,502,481 speedup is 1.57real 0m1.130suser    0m0.797ssys    0m0.160s[root@vm5 ~]#

看完上述内容，是不是对linux下快速拷贝大文件的方法有进一步的了解，如果还想学习更多内容，欢迎关注行业资讯频道。