LLM 모델이 사용하는 메모리 계산하는 방법을 간략하게 소개하고, 추가적으로 내게 주어진 환경에서 LLM 모델을 돌릴 수 있는지 확인할 수 있는 사이트를 소개한다. Model on GPU Ram LLM을 이용한 학습 / 추론 시 GPU 등의 Accelerator를 활용하게 되는데, Accelerator 내 메모리에 모델의 파라미터를 업로드한다. 하지만 7B ~ 1.76T의 모델 파라미터를 Accelerator로 구동하는 것은 현실적으로 어려운 일이며, 이에 상용 GPU (NVIDIA RTX 3080 등)을 통한 LLM 활용 방법론이 대두되었다. Memory Usage 1. 모델 학습 모델 학습에는 Optimizer 상태를 저장하는 저장소와 디바이스 메모리에 Gradient를 저장해야 한다. 이는 모델 학..
