My training takes 40 hours, what should I change to optimize it? enable full bf16 training. enable f
My training takes 40 hours, what should I change to optimize it? enable full bf16 training.
enable fp8 training.
running training / 学習開始
num train images * repeats / 学習画像の数×繰り返し回数: 61
num reg images / 正則化画像の数: 0
num batches per epoch / 1epochのバッチ数: 61
num epochs / epoch数: 200
batch size per device / バッチサイズ: 1
gradient accumulation steps / 勾配を合計するステップ数 = 1
total optimization steps / 学習ステップ数: 12200
enable fp8 training.
running training / 学習開始
num train images * repeats / 学習画像の数×繰り返し回数: 61
num reg images / 正則化画像の数: 0
num batches per epoch / 1epochのバッチ数: 61
num epochs / epoch数: 200
batch size per device / バッチサイズ: 1
gradient accumulation steps / 勾配を合計するステップ数 = 1
total optimization steps / 学習ステップ数: 12200
