メッセージ
2018年05月15日の記事
2018/05/15(火)FreeBSD で大量のファイルを一度に消去する
2018/05/15 24:25
今般、サーバのＨＤＤ使用残量が変に圧迫していて、不要なファイルを削除する、というメンテナンスを行う必要性が出たのですが、削除対象ファイルがざっと 200万 ～ 300万個あり(計算上)、普通に削除しようとすると、下記のようになります：
これは、コマンドラインで '*.jpg' のようにワイルドカード指定すると、処理を始める前段階で、全ての対象ファイル名をリストにするからで、そのリストサイズは現行 FreeBSD の場合、262144 バイトに制限されており、数が多いと収まりきらないためです。そのため「引数のリストが長すぎる」というエラーになるのです。
このような時は、標準入出力をパイプで連結する、という手法をとります。
xargs コマンドが肝になる部分で、このコマンドは、標準入力に与えられた長いリストをエラーにならない範囲で分割し、所定のコマンドを実行するものです。
これで、削除には15時間ほどかかりましたが、無事に削除完了できました。