千家信息网

rsync同步海量文件时/var分区满问题

发表于:2026-10-31 作者:千家信息网编辑
千家信息网最后更新 2026年10月31日,1、rsync同步海量文件时/var分区满问题最近老是碰到/var分区满的问题, 一直都找不到是哪个文件把分区涨爆了.用下面的命令看/var目录的大小, 只有81M.#du -sh /var81M /
千家信息网最后更新 2026年10月31日rsync同步海量文件时/var分区满问题

1、rsync同步海量文件时/var分区满问题

最近老是碰到/var分区满的问题, 一直都找不到是哪个文件把分区涨爆了.

用下面的命令看/var目录的大小, 只有81M.

#du -sh /var
81M /var

但是用df命令看分区情况, 发现/var却是满满的..

#df -h
/dev/sdc6 2.0G 2.0G 0 100% /var

机器在同步一些图片, 我粗略估算一下大概有1,2千万张图片. 开始同步的时候很正常, 当rsync运行几个小时之后, /var开始渐渐地变大, 然后爆满. 这个时候rsync进程使用内存也就2MB, 我猜想由于文件太多, rsync在对比server和client端的文件list的时候使用/var分区的磁盘做为临时的stack, 把/var分区占满了..

#killall rsync
#df -h
/dev/sdc6 2.0G 109M 1.8G 6% /var

kill了rsync进程, 磁盘空间又释放了... 无奈...


总结:

rsync在对比server和client端的文件list的时候使用了临时文件,但是我们又看不到临时文件在哪里, 困惑了吧.

在linux中, 先创建一个临时文件, 然后进程打开文件, 再调用unlink删除文件, 但是文件这个时候还是打开的, 操作系统不会将它真正的删除, 当进程不停地写的时候, 分区就会慢慢地涨满, 当进程退出的时候, 操作系统检测到文件已经没有被使用了, 才会被删除.

你也不必将var链接到大分区, 同步海量文件的时候, 你可以按目录将你的任务切换成若干小任务就可以了.



文件 时候 进程 同步 海量 问题 操作系统 任务 命令 图片 目录 磁盘 端的 系统 粗略 困惑 内存 只有 大小 小时 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 互联网科技工作委员会主任 科技平台互联网 朗新科技与工业互联网 互联网金融 金融科技 互联网未来科技 远信互联网科技 互联网科技的英文 九亚互联网科技 互联网科技素材视频竖屏 互联网科技生活的内容 华脉科技工业互联网产品 互联网科技寓意 深圳市罗太互联网科技有限公司 上海科技产业互联网平台 元气玛特互联网科技公司是外包吗 广州千川互联网科技有限公司 广州梦谷互联网科技有限公司领导 互联网科技新闻 重庆科技产业互联网有哪些 株洲百竞科技的互联网营销顾问 哈尔滨大商圈互联网科技有限公司 上海挚品互联网科技 碳银互联网科技 厦门千工互联网科技有限公司 苏州五指互联网络科技有限 阿大互联网科技有限公司 亳州好赞互联网科技有限公司 美国互联网科技公司 济南小医互联网科技有限公司招聘 福州德业互联网科技
0