코딩하는 오리

사용하는 PC에 설치되어 있는 Cuda, Cudnn 버전에 맞는 Docker Image를 사용해야 한다. cuda 10.2 버전을 사용중이기에, 관련 이미지를 사용하는 Dockerfile을 만들어 기초 환경을 구축했다. * detectron2는 현재 (2024.04.11) python 3.9 이하 버전만 지원한다고 하니, 이 점에 유의하자. $ docker build -t detectron2:test . $ docker run -p 8890:8890 -i -t -v C:/Users/:/workspace detectron:test 기본적인 설정은 완료했고, 도커도 실행했다. 도커 안에서, 다음 명령어로 필요한 패키지들을 설치해주자. $ apt-get install poppler-utils $ apt-get..

Docker Image를 push 할 때 다음과 같은 오류가 발생한다. denied requested access to the resource 이것은 Image를 푸쉬하려는 계정과 CMD 상에서 Login 되어 있는 계정 정보가 다를 때 발생하는 오류다. 해결방법은 간단하다. $ docker logout $ docker login - push 하려는 docker hub 계정 id 및 pw를 입력하고 이미지를 push 한다.

지금까지 나는 Docker를 사용해오면서, docker commit을 통해 프로젝트 이미지를 생성 및 관리해왔다. 초반에는 아무런 불편함이 없었지만, 점차 불편한점들이 체감되기 시작하면서, Dockerfile 공부를 뒤늦게 시작했다. 이 포스트는 RAG (Retriever Augmented Generation) 모델 아키텍처를 위한 Docker 이미지를 만드는 과정을 처음부터 다루고 있다. 0. Dockerfile 생성 Dockerfile은 아무런 확장자가 없는 파일로, 파일명을 Dockerfile로 설정해서 하나 만들어주자. 1. Dockerfile Option command explanation example FROM 기본 이미지 지정 (Docker Hub 참고) FROM pytorch/pytorch..

해당 포스트는 해외블로그 Medium에 게시된 Talk to your Database using RAG and LLMs 포스트의 내용을 실습하고 있습니다. ※ 내용 진행에 앞서, 다음 2가지 사항을 미리 준비해두면 좋다. 1. 실습에 사용할 데이터 (MySQL 데이터베이스에 업로드) 2. OpenAI API Key - OpenAI 공식 홈페이지에서 발급 0. MySQL 관련 설정 LLM 모델이 접근할 MySQL 데이터베이스 관련 파라미터를 정의해준다. host = 'ipv4 주소' port = '3306' username = 'DB 사용자 이름' password = 'DB 사용자 비밀번호' database_schema = '데이터베이스 이름' 접근한 파라미터를 사용해 mysql uri 값을 얻을 수 있다..

해당 포스트는 본인 PC에서 생성한 MySQL 서버 데이터베이스에 다른 PC를 사용해 원격 접속할 수 있도록 설정하는 방법에 대해 다루고 있으며, 이는 동일한 내부망 환경에서 진행된 것임을 알려드립니다. (사용하고 있는 네트워크 환경이 다를 경우 적용되지 않을 수 있음 !!) MySQL 1. MySQL 환경변수 설정 - mysqld.exe 파일이 있는 경로를 복사해서 시스템 환경변수 ($PATH)에 추가해주기 2. mysql 설정 1) mysql 접속 mysql -h[ip주소] -u [사용자 이름] -p - password 입력 더보기 mysql -h 192.168.0.146 -u cori -p 2) mysql 계정 설정 use mysql; # mysql 데이터베이스 사용 SELECT host, user..

터미널에서 git push 하면 발생하는 'unable to access ~.git: The requested URL returned error: 403' ERROR ! 다음과 같이 설정해주자. git remote -v # 원격 저장소 리스트 확인 # 원격 저장소 주소 재설정 git remote set-url origin https://[사용자이름]@github.com/[사용자이름]/[저장소이름].git 이후 add, commit, push하면 정상적으로 push할 수 있다.

Hugging Face에서 LLM 모델 다운 받기 아래 명령어를 통해 LLM 모델을 로컬 컴퓨터로 다운 받을 수 있다. from transformers import AutoModelForCausalLM, AutoTokenizer, AutoConfig, AutoModel model_id = "Hugging Face 모델 이름" tokenizer = AutoTokenizer.from_pretrained(model_id) model = AutoModelForCausalLM.from_pretrained(model_id) config = AutoConfig.from_pretrained(model_id) 주피터에서 모델 다운 혹은 다운받은 모델을 로드할 때, 가끔 다음 오류가 발생한다. 'the kernel for..