docker

Ollama를 활용해 토이프로젝트를 진행하게 되어, Ollama의 개념, 설치 방법 및 개발중인 도커 컨테이너와 Ollama를 연동하는 방법을 기록해본다.Chap # 01. Ollama란 ?로컬 환경에서 대형 언어 모델(LLM)을 실행할 수 있도록 설계된 오픈소스 프로젝트로, 인터넷 연결 없이도 다양한 모델을 활용할 수 있디. Ollama는 GPU 가속을 지원하여 빠른 추론이 가능하며, 기존의 클라우드 기반 AI 서비스와 달리 데이터를 로컬에서 처리 가능하다(보안 강화). 로컬 실행: 클라우드에 의존하지 않고 로컬에서 LLM 실행 가능경량화된 모델 제공: 기존 대형 모델을 최적화하여 경량화된 버전 사용 가능GPU 가속 지원: NVIDIA GPU를 활용하여 성능을 극대화Docker 연동 가능: 컨테이너 환..

Docker Container & Images도커 이미지는 프로그램 실행을 위한 기본 환경을 담고 있는 파일이라 생각하면 된다. 도커 이미지 하나당, 하나의 프로젝트를 보통 담당한다고 볼 수 있으며, 도커 이미지를 바탕으로 컨테이너를 생성하여 실제 작업을 진행한다.docker images # 도커 이미지 목록 조회docker ps [-a] # 도커 컨테이너 목록 조회docker stop [container name] # 실행중인 도커 컨테이너 중지docker start [container name] # 중지된 도커 컨테이너 실행docker rm [-f] [container name] # 도커 컨테이너 삭제docker rmi [docker image name] # ..

지금까지 나는 Docker를 사용해오면서, docker commit을 통해 프로젝트 이미지를 생성 및 관리해왔다. 초반에는 아무런 불편함이 없었지만, 점차 불편한점들이 체감되기 시작하면서, Dockerfile 공부를 뒤늦게 시작했다.이 포스트는 RAG (Retriever Augmented Generation) 모델 아키텍처를 위한 Docker 이미지를 만드는 과정을 처음부터 다루고 있다.0. Dockerfile 생성 Dockerfile은 아무런 확장자가 없는 파일로, 파일명을 Dockerfile로 설정해서 하나 만들어주자. 1. Dockerfile OptioncommandexplanationexampleFROM기본 이미지 지정 (Docker Hub 참고)FROM pytorch/pytorchWORKDIR작..

Docker 내에서, 한글을 입력할 때 가끔 한글 입력이 되지 않는 컨테이너가 있다.한글 입력이 되지 않는 현상 (docker)한글 입력이 가능하도록 해 주기 위해서는 locales 설정을 해주어야 한다. apt-get update & apt upgrade -yapt-get install locales# locale 정보 확인 locale # -a 옵션 추가 시 사용 가능한 locale 조회 가능localedef 혹은 locale-gen 명령어를 통해 한글 지원이 되는 locale을 생성하자.# 둘 중 하나 수행 후 locale -a 입력 시 ko_KR locale 확인 가능 localedef -f UTF-8 -i ko_KR ko_KR.UTF-8locale-gen ko_KR.UTF-8Docker로 ..

Docker Image를 push 할 때 다음과 같은 오류가 발생한다."denied requested access to the resource"이것은 Image를 푸쉬하려는 계정과 CMD 상에서 Login 되어 있는 계정 정보가 다를 때 발생하는 오류다. 해결방법은 간단하다. $ docker logout $ docker login - push 하려는 docker hub 계정 id 및 pw를 입력하고 이미지를 push 한다.