FixedFileNumModelCheckpoint callbackクラスの作成

[Geson-anko]

概要

限られた数のCheckpointをファイルに保存する callbackクラスを作成します。
上限ファイル数までcheckpointを保持し、溢れたcheckpointファイルは古いものから削除します。

背景と目的

AMIは非常に長い時間活動するため、学習のたびにCheckpointを作成するとディスク容量を圧迫する恐れがあります。

古いパラメータファイルを削除していくことで、ディスク容量を小さく抑える狙いがあります。

ただ、喫緊の課題ではないので実装する優先順位は低いです。

提案内容

LightningのModelCheckpointクラスを継承し、改変して実装することを考えています。
https://lightning.ai/docs/pytorch/stable/api/lightning.pytorch.callbacks.ModelCheckpoint.html
https://lightning.ai/docs/pytorch/stable/_modules/lightning/pytorch/callbacks/model_checkpoint.html#ModelCheckpoint

1. コンストラクタ__init__のキーワード引数に max_file_numを追加します。 そして、dequeを作成してそこにファイルパスを格納するようにします。

2. _save_checkpointメソッドをラップして、保存するファイルパスをクラス内部に保存します。保存する際に最大数 max_file_numに達していた場合は、一番最後のファイルパスを取り出し、ファイルをディスクから削除したのちに、クラスからも削除します。

3. super()._save_checkpointを呼び出し、checkpointを保存します。

タスク

• ...

参考