CS

다음과 같은 구조에서는 src 폴더 내의 파일들을 바로 불러올 수 있다.  ''' train_encoder.py '''from src import encoder enc = encoder()하지만 다음과 같이 실행 파일이 src 폴더와 동일한 경로 상에 위치하는 경우, 앞의 코드는 src 폴더를 찾지 못한다.이를 해결하기 위해서는, 다음과 같이 해당 파일에 경로를 추가해주어야 한다.  import sys sys.path.append('{directory to src folder}') # example: sys.append('/cori/stock/src')경로를 추가해주고 난 후, PYTHONPATH에 import 하고자 하는 폴더의 경로를 추가해주자. export PYTHONPATH=$PYTHONPATH:..

원격 서버에 저장된 PostgreSQL 데이터베이스의 데이터를 로컬로 가져올 필요가 있어 방법을 정리한다. 원격 서버의 PostgreSQL DB 접속- 원격 서버 -원격 서버에서 PostgreSQL의 5432 포트가 외부에서 접근 가능하도록 방화벽 규칙을 설정해준다.sudo ufw allow 5432/tcpPostgreSQL 컨테이너를 실행하고, 해당 컨테이너로 진입하자.docker run -it --name postgres-container -p 5432:5432 [PostgreSQL Docker Image]docker exec -it postgres-container /bin/bash컨테이너 내부에서 PostgreSQL 설정 파일(postgresql.conf 및 pg_hba.conf)을 수정해주어야 ..

Docker Container & Images도커 이미지는 프로그램 실행을 위한 기본 환경을 담고 있는 파일이라 생각하면 된다. 도커 이미지 하나당, 하나의 프로젝트를 보통 담당한다고 볼 수 있으며, 도커 이미지를 바탕으로 컨테이너를 생성하여 실제 작업을 진행한다.docker images # 도커 이미지 목록 조회docker ps [-a] # 도커 컨테이너 목록 조회docker stop [container name] # 실행중인 도커 컨테이너 중지docker start [container name] # 중지된 도커 컨테이너 실행docker rm [-f] [container name] # 도커 컨테이너 삭제docker rmi [docker image name] # ..

인터넷 연결 확인ping 8.8.8.8     # 구글의 도메인과 소통한다. 정보 조회하기0. 시스템 정보 조회cat /etc/issue   # Ubuntu 버전 uname -a    # 시스템의 커널 정보와 운영 체제 정보 1. GPU 드라이버 조회 lspci | grep -i vga    2. 루트 권한 조회 whoami 3. 설치 패키지 목록 조회 dpkg -l | grep [package]  4. 패키지 위치 탐색 whereis [pacakge name]    # whereis docker which [package name]  5. 용량 조회df -h du -sh [파일 경로]   # 디렉토리별 용량 조회  사용자 & 사용자 그룹 관련 작업0. 전체 사용자 조회 cat /etc/passwd  1..

첫번째 방법은 getpass 라이브러리를 이용하는 것이다. 다음과 같이 작성하면 코드를 실행할 때 마다 사용자가 API Key를 직접 입력하는 방식으로 동작하게 된다.import osimport getpassos.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")openai.api_key = os.environ["OPENAI_API_KEY"]두번째 방법은 .env 파일을 사용하는 것이다. 이를 위해서는 load_dotenv 라이브러리가 필요하다.load_dotenv 라이브러리는 다음 명령어로 설치할 수 있다. pip install python-dotenv.env 파일에 다음과 같이 외부에 노출되면 안되는 중요 정보들을 저장해두자. 우리는 다음과..

해당 포스트는 본인 PC에서 생성한 MySQL 서버 데이터베이스에 다른 PC를 사용해 원격 접속할 수 있도록 설정하는 방법에 대해 다루고 있으며, 이는 동일한 내부망 환경에서 진행된 것임을 알려드립니다. (사용하고 있는 네트워크 환경이 다를 경우 적용되지 않을 수 있음 !!) MySQL1. MySQL 환경변수 설정 - mysqld.exe 파일이 있는 경로를 복사해서 시스템 환경변수 ($PATH)에 추가해주기 2. MySQL 설정 1) mysql 접속 $ mysql -h[ip주소] -u [사용자 이름] -p $ mysql -h 192.168.0.146 -u cori -p 2) mysql 계정 설정 $ use mysql; # mysql 데이터베이스 사용 $ SELECT host, user FROM user;..

지금까지 나는 Docker를 사용해오면서, docker commit을 통해 프로젝트 이미지를 생성 및 관리해왔다. 초반에는 아무런 불편함이 없었지만, 점차 불편한점들이 체감되기 시작하면서, Dockerfile 공부를 뒤늦게 시작했다.이 포스트는 RAG (Retriever Augmented Generation) 모델 아키텍처를 위한 Docker 이미지를 만드는 과정을 처음부터 다루고 있다.0. Dockerfile 생성 Dockerfile은 아무런 확장자가 없는 파일로, 파일명을 Dockerfile로 설정해서 하나 만들어주자. 1. Dockerfile OptioncommandexplanationexampleFROM기본 이미지 지정 (Docker Hub 참고)FROM pytorch/pytorchWORKDIR작..

Docker 내에서, 한글을 입력할 때 가끔 한글 입력이 되지 않는 컨테이너가 있다.한글 입력이 되지 않는 현상 (docker)한글 입력이 가능하도록 해 주기 위해서는 locales 설정을 해주어야 한다. apt-get update & apt upgrade -yapt-get install locales# locale 정보 확인 locale # -a 옵션 추가 시 사용 가능한 locale 조회 가능localedef 혹은 locale-gen 명령어를 통해 한글 지원이 되는 locale을 생성하자.# 둘 중 하나 수행 후 locale -a 입력 시 ko_KR locale 확인 가능 localedef -f UTF-8 -i ko_KR ko_KR.UTF-8locale-gen ko_KR.UTF-8Docker로 ..

해당 포스트에서는 ec2 Instance를 생성하고, 해당 인스턴스에 Jupyter Notebook 및 Anaconda를 설치한다.   * IAM 사용자로 수행하였으며, Root 계정에 MFA 보안 설정 및 IAM 사용자 생성 관련 방법은 다음 포스팅을 참고하자. [wecode Bonusweek] AWS 보안설정하기AWS설정방법 참조 aws웹사이트 접속 회원가입을 한다. 우측 상단에 있는 내 계정 - AWS Management Console에서 로그인한다. 로그인 창에 두 종류의 로그인이 나오는데 IAM 사용자가 생성되지 않았으므로velog.io1. ec2 Instance 생성하기 1) EC2 서비스 검색 -> Instace 생성 클릭-> 저희는 Ubuntu를 사용할 예정이기 때문에, Ubuntu를 검색..

pymysql 라이브러리를 사용해 mysql 데이터베이스에 접속하고, 테이블 생성부터 데이터 업로드, 테이블 삭제하는 방법까지의 과정에 대해 다룬다. 0. MySQL 연결 pymysql 라이브러리를 사용해 mysql에 접속한다. 연결 전에, MySQL 데이터베이스를 생성하고 ip 접속 허용 설정을 해 주어야 한다. 1) MySQL 환경파일 기본 설정 args = dict()args['host'] = "본인의 ip 주소"args['user'] = "db에 접속할 사용자 이름"args['password'] = "db에 접속할 사용자 패스워드"args['db'] = "db 이름"args['port'] = 3306 # 기본 포트 번호2) MySQL 연결 import pymysqlconn = pymysql...

0. Instance 생성 Nvidia Driver 지원하는 인스턴스 목록  Install NVIDIA drivers on Linux instances - Amazon Elastic Compute CloudInstall NVIDIA drivers on Linux instances An instance with an attached NVIDIA GPU, such as a P3 or G4dn instance, must have the appropriate NVIDIA driver installed. Depending on the instance type, you can either download a public NVIDIA driver, download adocs.aws.amazon.com인스턴스 생성 시..

기존에 세팅한 Ubuntu를 제거하고, 윈도우에 다시 딥러닝 수행 환경을 구축한다. 1. 정보 조회 $ nvidia-smi nvidia driver는 설치되어 있고, Cuda 11.6 이하 버전을 설치할 수 있다.  2. Install Cuda Cuda homepage에서 Cuda를 설치할 수 있다. 가장 익숙한 10.2 Cuda를 설치하려 한다. 1) Base Installer  우선 Base Installer 설치 및 실행. Cuda 위치는 다음과 같다. * 설치 후, 해당 디렉토리에 가서 숨긴 파일 조회를 해 봐도 CUDA가 보이지 않는다.. 검색 결과 다음 디렉토리에 있다.2) Patch 1 & 2 패치 파일들도 까는게 좋을거 같다.. base install 완료 후 각 파일들도 설치해주자 3. ..