最近线上值班的时候经常发现使用df
命令查看磁盘空间快满, 但使用du
命令找不到实际大文件的问题。
在此先记录一下排查及其解决方法:
- 用df 检查发现/根目录可用空间为0
[root@/]#df -h
- 用du检查发现各目录占用的空间都很少,空间莫名其妙地不见了.
[root@/]# du -m –max-depth=1 |sort -gr
- 用lsof检查后才发现原因是,有文件被删除,而进程还活着,因而造成还占用空间的现象
[root@/]# lsof +L1 |grep delete
根据lsof列出的进程号,kill这些进程后,空间就释放出来了.
原因解释
linux里的文件被删除后,空间没有被释放是因为在Linux系统中,通过rm或者文件管理器删除文件将会从文件系统的目录结构上解除链接(unlink)。然而如果文件是被打开的(有一个进程正在使用),那么进程将仍然可以读取该文件,磁盘空间也一直被占用。
此时文件被标记为被删除(状态为deleted),但该文件并没有从磁盘中删除,类似windows下的回收站状态。
使用du查看时,因为没有该删除状态文件的节点信息,所以就不做统计,从而导致与df的结果不一致。
若要将deleted状态文件删除,则根据pid直接kill调相应进程即可。