코딩하는 오리

보호되어 있는 글입니다.

사용하는 PC에 설치되어 있는 Cuda, Cudnn 버전에 맞는 Docker Image를 사용해야 한다. cuda 10.2 버전을 사용중이기에, 관련 이미지를 사용하는 Dockerfile을 만들어 기초 환경을 구축했다. * detectron2는 현재 (2024.04.11) python 3.9 이하 버전만 지원한다고 하니, 이 점에 유의하자. $ docker build -t detectron2:test . $ docker run -p 8890:8890 -i -t -v C:/Users/:/workspace detectron:test 기본적인 설정은 완료했고, 도커도 실행했다. 도커 안에서, 다음 명령어로 필요한 패키지들을 설치해주자. $ apt-get install poppler-utils $ apt-get..

Docker Image를 push 할 때 다음과 같은 오류가 발생한다. denied requested access to the resource 이것은 Image를 푸쉬하려는 계정과 CMD 상에서 Login 되어 있는 계정 정보가 다를 때 발생하는 오류다. 해결방법은 간단하다. $ docker logout $ docker login - push 하려는 docker hub 계정 id 및 pw를 입력하고 이미지를 push 한다.

해당 포스트는 해외블로그 Medium에 게시된 포스트 및 Llama 공식 문서 내용을 정리 한 것이다. Llama Index 왜 쓰는데 ? Llama Index 사용 이유 ! 여러 LLM (Large Language Model)들은 위키피디아, 소스 코드 등과 같은 대량의 공개 데이터에 대해 사전 훈련되어 있다. 하지만, 이런 LLM들은 보통 사용자의 데이터나 해당 문제에 특화된 데이터로는 훈련되어 있지 않다. 본인의 데이터로 LLM을 세밀하게 조정할 수도 있지만, 파라미터 수가 기본 Billion (B) 이상인 요즘 언어 모델을 새로 학습하는 것은 상당한 비용이 소모된다. 비용적인 문제로 인해, LLM이 최근 정보를 학습하도록 업데이트하는 것은 쉽지 않으며, 이러한 문제를 해결하기 위해 여러 방법론이 ..

안녕하세요, 오늘은 ec2 Instance를 생성하고, 해당 인스턴스에 Jupyter Notebook 및 Anaconda를 설치하는 방법에 대해 다뤄보겠습니다. * 해당 작업은 IAM 사용자로 수행하였으며, Root 계정에 MFA 보안 설정 및 IAM 사용자 생성 관련 방법은 다음 포스팅을 참고바랍니다. [wecode Bonusweek] AWS 보안설정하기 AWS설정방법 참조 aws웹사이트 접속 회원가입을 한다. 우측 상단에 있는 내 계정 - AWS Management Console에서 로그인한다. 로그인 창에 두 종류의 로그인이 나오는데 IAM 사용자가 생성되지 않았으므로 velog.io 1. ec2 Instance 생성하기 1) EC2 서비스 검색 -> Instace 생성 클릭 -> 저희는 Ubunt..

보호되어 있는 글입니다.

지금까지 나는 Docker를 사용해오면서, docker commit을 통해 프로젝트 이미지를 생성 및 관리해왔다. 초반에는 아무런 불편함이 없었지만, 점차 불편한점들이 체감되기 시작하면서, Dockerfile 공부를 뒤늦게 시작했다. 이 포스트는 RAG (Retriever Augmented Generation) 모델 아키텍처를 위한 Docker 이미지를 만드는 과정을 처음부터 다루고 있다. 0. Dockerfile 생성 Dockerfile은 아무런 확장자가 없는 파일로, 파일명을 Dockerfile로 설정해서 하나 만들어주자. 1. Dockerfile Option command explanation example FROM 기본 이미지 지정 (Docker Hub 참고) FROM pytorch/pytorch..