ML Template

Pytorch, PytorchLightning, wandbを用いた機械学習用テンプレート．

Lightning

wandb

プロジェクトはデータベース単位で作成される． wandbのアーティファクトに含まれるタグ

タグ	説明
Model	引数で指定したモデル名
Date	実行した日の日付

|

プログラムの引数

run_training.py

変数名	型	デフォルト	説明
model	string	なし	モデル名
dataset	string	なし	データセット名
trainer	string	trainer.yaml	trainerのコンフィグファイルのパス
config_dir	string	config	コンフィグファイルが保存されているディレクトリ
batch_size	int	128	バッチサイズ
num_workers	int	4	num workers
max_epochs	int	100	エポック数，またはEarly Stoppingの際の最大エポック
skip_training	bool	False	学習をスキップするかどうか
ckpt	string	ckpt	学習パラメータの保存先
devices	int or list	[0]	使用するGPUの個数(0)，もしくはGPU番号([0, 1])．-1と設定するとCPU稼働
deterministic	bool	True	trainerのdeterministic
seed	int	42	ランダムシード
logger	string	wandb	ロガーの種類
suffix	string	なし	モデルのサフィックス
prog_bar	bool	True	プログレスバーを表示するかどうか
benckmark	bool	False	ベンチマークモード(validationが1回だけ動く)
offline	bool	False	オフラインモード(wandbにログが送信されない)
version	string	v0	バージョン

クラスメソッド

ModelConfig

変数名	型	デフォルト	説明
model_name	string	なし	使用するモデルクラスの名前
input_size	List[int]	224	入力画像のサイズ(データセット)
num_classes	int	なし	クラス数
model_name	string	なし	使用するモデルクラスの名前
model_name	string	なし	使用するモデルクラスの名前

DataConfig

変数名	型	デフォルト	説明
dataset_name	string	なし	使用するデータセットクラスの名前
dataset_dir	string	なし	データセットのパス
task	string	classification	タスクの種類（classification or regression）
class_names	List[string]	なし	クラス名（分類タスクのときのみ）
num_classes	int	なし	クラス数（分類タスクのときのみ）
image_size	int	224	画像サイズ
channel	int	3	画像のチャネル数
data_ratio	float	1.0	使用するデータセットの割合（作成中）
train_val_split	float	0.8	学習データと検証データの比率
use_cache	bool	False	データのロードをキャッシュから行うかどうか
num_workers	int	8	num worker
batch_size	int	32	バッチサイズ（プログラムの引数として指定するため，YAMLファイルで設定する必要なし）
seed	int	42	シード値（プログラムの引数として指定するため，YAMLファイルで設定する必要なし）