Jupyter Notebook Kernel Restart 오류 해결

Hugging Face에서 LLM 모델 다운  

아래 명령어를 통해 LLM 모델을 로컬 컴퓨터로 다운 받을 수 있다. 

from transformers import AutoModelForCausalLM, AutoTokenizer, AutoConfig, AutoModel

model_id = "Hugging Face 모델 이름"   

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)
config = AutoConfig.from_pretrained(model_id)

주피터에서 모델 다운 혹은 다운받은 모델을 로드할 때, 가끔 다음 오류가 발생한다.

 

 'the kernel for ~ appears to have died. It will restart automatically'

 

여러 포스트를 찾아본 결과, jupyter notebook의 configuration 파일 내 buffer size를 조정해주라고 되어 있다.

 

Jupyter Notebook Configuration 파일 

터미널 창에서 $ jupyter notebook --generate-config 명령어 입력 시, generation config 파일 경로를 확인할 수 있다. 

확인한 경로에서 jupyter_notebook_config.py 파일을 열어서 다음과 같이 buffer size를 수정해주자

536870912 (default) -> 10000000000

위처럼 수정해주면 대부분 Kernel Restart 에러해결할 수 있다 하는데, 나는 여전히 같은 오류가 발생한다.

 

Model 로드 시 옵션 지정 

Mistral 모델을 로드할 때 커널이 자주 죽었는데, 다음과 같이 모델 로드 옵션을 수정하고 나니 커널이 더 이상 죽지 않았다. 

model_name='davidkim205/komt-mistral-7b-v1' 
model = AutoModelForCausalLM.from_pretrained(model_name,
		torch_dtype=torch.float16, low_cpu_mem_usage=True)

해결해서 더 이상 조사하지는 않았지만, 혹시 추가적인 해결 방안이 더 발견된다면 이어서 작성하겠다..