最近线上值班的时候经常发现使用df命令查看磁盘空间快满, 但使用du命令找不到实际大文件的问题。

在此先记录一下排查及其解决方法:

  1. 用df 检查发现/根目录可用空间为0
[root@/]#df -h
  1. 用du检查发现各目录占用的空间都很少,空间莫名其妙地不见了.
[root@/]# du -m –max-depth=1 |sort -gr
  1. 用lsof检查后才发现原因是,有文件被删除,而进程还活着,因而造成还占用空间的现象
[root@/]# lsof +L1 |grep delete

根据lsof列出的进程号,kill这些进程后,空间就释放出来了.

原因解释

linux里的文件被删除后,空间没有被释放是因为在Linux系统中,通过rm或者文件管理器删除文件将会从文件系统的目录结构上解除链接(unlink)。然而如果文件是被打开的(有一个进程正在使用),那么进程将仍然可以读取该文件,磁盘空间也一直被占用。

此时文件被标记为被删除(状态为deleted),但该文件并没有从磁盘中删除,类似windows下的回收站状态。

使用du查看时,因为没有该删除状态文件的节点信息,所以就不做统计,从而导致与df的结果不一致。

若要将deleted状态文件删除,则根据pid直接kill调相应进程即可。