나의 개발 일지 (2) Docker 설정

현재 우리 부서에서는 여러 LLM 모델을 사용하기 위해 Docker 환경에서 작업을 하고 있다. 여기서는 회사에서 사용하고 있는 도커 환경 구축 과정에 대해 다룬다.

---

사용 모델

현재 사용하고 있는 모델은 davidkim205/komt-mistral-7b-v1 모델이다. 테스트 용도로 사용중인 모델이라 올해 초 HuggingFace에 올라와있던 한국어를 지원하는 LLM 모델 중 하나를 골라 사용중이다. 다른 어느 모델을 사용해도 상관없지만, HuggingFace에서 모델을 골라 사용할 때 모델명에 'ko'가 포함되어 있는지를 꼭 확인하자. 모델명에 ko가 포함되지 않은 경우, 한국어를 잘하지 못할 확률이 크다.

Docker Setting

파이썬에서 AI 모델을 돌리기 위해 지원하는 패키지가 크게 2가지가 있다. Tensorflow와 pytorch가 바로 그것인데, 요즘에는 tensorflow 보다는 pytorch를 많이 사용하는 추세이다. 개발 서버에서도 pytorch 기반의 도커 이미지를 베이스로 LLM 작업에 사용할 이미지를 빌드해서 사용하고 있다. 다음은 LLM 개발에 사용중인 Dockerfile과 requirements 파일이며, 빌드한 이미지를 활용해 HuggingFace에 올라온 모델에 대한 테스트가 가능하다. 

* 도커 진입 시 --gpus all 명령어를 통해 보유중인 gpu를 도커 내부에서 사용할 수 있도록 해주는 것도 잊지말자.

Dockerfile

0.00MB

requirements.txt

0.00MB

 

대부분의 LLM은 HuggingFace에 사용 방법 (추론 등)이 명시되어 있기에, 그대로 따라하면 별다른 문제 없이 사용해볼 수 있다.