언어모델 (BERT, RoBERTa 등) 모델 저장 크기

파이토치로 모델 저장시에 model 통째로가 아니라 가중치만 저장하는데 사이즈가 너무 커져서 찾아봄

나는 주로 RoBERTa - base를 쓰고 base이기 때문에 저장시에 용량이 1GB 는 넘지 않아야 하는데 1.3GB 내외로 저장되어서 서버 용량 관리에 애먹었다.

Model become 3 times larger after finetune? #63

https://github.com/google-research/bert/issues/63

Model become 3 times larger after finetune? · Issue #63 · google-research/bert

이유 : 모델 웨이트 말고 optimizer, scheduler 저장하는 것이 각 스텝마다의 가중치도 저장하게 됨

How to get distributed checkpoints to reduce the size of model only for prediction #99

https://github.com/google-research/bert/issues/99

How to get distributed checkpoints to reduce the size of model only for prediction · Issue #99 · google-research/bert

이렇게 해결한 사람 다수

 

결국 옵티마이저랑 스케줄러를 저장하지말라는 건데 그럼 인퍼런스 할 때 얼마나 차이날지 아직 안해봄