starting docker engine error
Cori
가끔가다 도커 엔진이 Starting .. 에서 멈출 때가 있다. 이런 경우에는, 터미널창에 다음과 같이 입력하면 된다.wsl --terminate docker-desktopwsl --terminate docker-desktop-data
전체 글
코딩하는 오리의 소소한 IT 이야기
총 181개
코딩하는 오리
-
starting docker engine error
starting docker engine error
-
PostgreSQL (원격) <-> PostgreSQL (로컬)
PostgreSQL (원격) <-> PostgreSQL (로컬)
Cori보호되어 있는 글입니다. -
wget 명령어 파일명 지정하기 wget 명령어 파일명 지정하기
Coriwget을 사용할 때, -O 혹은 -Outfile 을 지정해줘야 로컬 환경에 다운받아진다.wget [url of file] -O [name of file] -
알아두면 쓸데있는 Docker 명령어 모음 알아두면 쓸데있는 Docker 명령어 모음
CoriDocker Container & Images도커 이미지는 프로그램 실행을 위한 기본 환경을 담고 있는 파일이라 생각하면 된다. 도커 이미지 하나당, 하나의 프로젝트를 보통 담당한다고 볼 수 있으며, 도커 이미지를 바탕으로 컨테이너를 생성하여 실제 작업을 진행한다.docker images # 도커 이미지 목록 조회docker ps [-a] # 도커 컨테이너 목록 조회docker stop [container name] # 실행중인 도커 컨테이너 중지docker start [container name] # 중지된 도커 컨테이너 실행docker rm [-f] [container name] # 도커 컨테이너 삭제docker rmi [docker image name] # .. -
알아두면 쓸데있는 Ubuntu 명령어 모음 알아두면 쓸데있는 Ubuntu 명령어 모음
Cori인터넷 연결 확인ping 8.8.8.8 # 구글의 도메인과 소통한다. 정보 조회하기0. 시스템 정보 조회cat /etc/issue # Ubuntu 버전 uname -a # 시스템의 커널 정보와 운영 체제 정보 1. GPU 드라이버 조회 lspci | grep -i vga 2. 루트 권한 조회 whoami 3. 설치 패키지 목록 조회 dpkg -l | grep [package] 4. 패키지 위치 탐색 whereis [pacakge name] # whereis docker which [package name] 5. 용량 조회df -h du -sh [파일 경로] # 디렉토리별 용량 조회 사용자 & 사용자 그룹 관련 작업0. 전체 사용자 조회 cat /etc/passwd 1.. -
FastAPI를 이용한 추론 모델 배포 (feat.docker) FastAPI를 이용한 추론 모델 배포 (feat.docker)
Cori.py 파일을 통해 분류를 수행하는데, 인코더 모델의 경우 매번 .py 파일을 실행할 때마다 메모리에 로드되었고, 이로 인해 결과값을 받아보는데 생각보다 시간이 소요되었다. 이를 해결하기 위해 다음과 같은 방법들을 고려할 수 있는데, 여기서는 이 중 FastAPI를 이용해 예측을 수행하는 과정에 대해 다뤄보고자 한다. 1. Hugging Face 캐싱 확인2. 모델 캐시 파일 재사용3. 웹 프레임워크(Flask, FastAPI)를 사용해 모델을 서버 형태로 배포- 서버 형태로 배포할 경우 예측 요청이 들어올 때마다 이미 로드된 모델로 예측을 수행하게 할 수 있다.더보기Method 1. classifier = pipeline("sentiment-analysis", model="microsoft/deber.. -
Spacy NER 모델 학습 기록 Spacy NER 모델 학습 기록
Cori보호되어 있는 글입니다. -
나의 개발 일지 (3) RAG 구현 및 개선 나의 개발 일지 (3) RAG 구현 및 개선
Cori회사에서 하고 있는 업무는 LLM을 활용하여 사내 내부 규정집에 대한 질의응답을 하는 챗봇을 개발하는 것이다. 규정집에 대한 질의응답이 잘 되는 것을 확인하면, 스크래핑 데이터 및 외부 회사 문서들로 확장해나가려 한다. 챗봇 개발에 적용중인 알고리즘은 RAG (Retrieval-Augmented Generation)이며, 해당 알고리즘을 순차적으로 발전시켜나가는 중이다. LLM (Large Language Model)의 한계ChatGPT를 비롯한 여러 LLM 모델들은 자신이 학습한 데이터에 대한 질문은 답을 나쁘지 않게 한다.하지만 자신이 학습하지 않은 내용을 질문하는 경우, 거짓 정보를 진실된 정보인 것처럼 알려준다 (할루시네이션)거짓 정보를 발설하는 현상을 개선하기 위해, RAG (Retrieval .. -
나의 개발 일지 (2) Docker 설정 나의 개발 일지 (2) Docker 설정
Cori현재 우리 부서에서는 여러 LLM 모델을 사용하기 위해 Docker 환경에서 작업을 하고 있다. 여기서는 회사에서 사용하고 있는 도커 환경 구축 과정에 대해 다룬다.사용 모델현재 사용하고 있는 모델은 davidkim205/komt-mistral-7b-v1 모델이다. 테스트 용도로 사용중인 모델이라 올해 초 HuggingFace에 올라와있던 한국어를 지원하는 LLM 모델 중 하나를 골라 사용중이다. 다른 어느 모델을 사용해도 상관없지만, HuggingFace에서 모델을 골라 사용할 때 모델명에 'ko'가 포함되어 있는지를 꼭 확인하자. 모델명에 ko가 포함되지 않은 경우, 한국어를 잘하지 못할 확률이 크다.Docker Setting파이썬에서 AI 모델을 돌리기 위해 지원하는 패키지가 크게 2가지가 있다. .. -
나의 개발 일지 (1) 서버 세팅 나의 개발 일지 (1) 서버 세팅
Cori인공지능 서버를 세팅하는 방법은 OS에 따라 살짝 다르다. Ubuntu와 Window에서 각각 세팅을 진행했었는데, 먼저 현재 회사에서 사용중인 윈도우에 서버 설정하는 방법부터 소개하고, 이후 Ubuntu에서 세팅하는 방법을 다룬다. Window Server SettingStep 1. Install Graphic Driver Window 환경에 맞는 Graphic Driver를 설치한다. Step 2. Install Cuda Cuda homepage에서 Cuda를 설치할 수 있다. nvidia-smi를 통해 조회되는 CUDA Version을 설치해준다.2.1 Base InstallerBase Installer 설치 및 실행. Cuda 위치는 다음과 같다. * 설치 후, 해당 디렉토리에 가서 숨긴 파일 조.. -
API Key 유출 방지를 위한 2가지 방법 (Python) API Key 유출 방지를 위한 2가지 방법 (Python)
Cori첫번째 방법은 getpass 라이브러리를 이용하는 것이다. 다음과 같이 작성하면 코드를 실행할 때 마다 사용자가 API Key를 직접 입력하는 방식으로 동작하게 된다.import osimport getpassos.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")openai.api_key = os.environ["OPENAI_API_KEY"]두번째 방법은 .env 파일을 사용하는 것이다. 이를 위해서는 load_dotenv 라이브러리가 필요하다.load_dotenv 라이브러리는 다음 명령어로 설치할 수 있다. pip install python-dotenv.env 파일에 다음과 같이 외부에 노출되면 안되는 중요 정보들을 저장해두자. 우리는 다음과.. -
Vector DB - Milvus Vector DB - Milvus
Coricurl -sfL https://raw.githubusercontent.com/milvus-io/milvus/master/scripts/standalone_embed.sh -o standalone_embed.shbash standalone_embed.sh startMilvus가 실행되었다.Window 환경에서 설정하는 경우, ubuntu 기반 환경 명령어인 bash 명령어가 잘 먹지 않을 수 있다.이런 경우 yml 파일을 다운받아 직접 compose 해서 도커 이미지 파일을 설치하면 된다.wget https://github.com/milvus-io/milvus/releases/download/v2.4.6/milvus-standalone-docker-compose.yml -O docker-compose.y..