S3の不要なファイル

S3でバックアップすると、標準では8MB以上のファイルはマルチパートアップロードされるとのこと。

dで、我が家のADSL回線のように貧弱な環境では、途中で他の作業をする為にアップロードコマンドをkillで止めてました。
この場合、アップロード途中のパートはS3側に残り続け、ストレージ費用が発生するらしい。
自分の環境でもaws s3api list-multipart-uploadsを実行すると、10個くらいのファイルが残っていた。
一つ一つkeyとIDを指定するのがめんどくさいので、スクリプトを探したら、ちょうど良いのがあったのでメモ。

定期的に実行した方が良いと思う。
コマンドの実行には当たり前ですがAWS CLIのセットアップと、jpコマンドのインストールが必要。

$ BUCKETNAME=<backet name>
$ aws s3api list-multipart-uploads --bucket $BUCKETNAME \
> | jq -r '.Uploads[] | "--key \"\(.Key)\" --upload-id \(.UploadId)"' \
> | while read -r line; do
>     eval "aws s3api abort-multipart-upload --bucket $BUCKETNAME $line";
> done

参考情報
https://docs.aws.amazon.com/ja_jp/amazonglacier/latest/dev/api-multipart-list-uploads.html

https://qiita.com/iogi/items/62f84e0ebfdc7afd9539