분류 전체보기

보호되어 있는 글입니다.

서비스 중인 DB에서 작업하다 실수로, 건드리면 안 될 데이터를 건드릴 수 있다. 이를 대비하기 위해, 주기적으로 DB 내용을 백업해두는 것이 중요하다. Pg_dump를 이용한 백업PostgreSQL 서버가 실행 중일 때 직접 복사하는 것보다는 pg_dump 같은 백업 도구를 사용하는 것이 더 안전하다.pg_dump -h [원격 서버 ip] -U [user name] -d [db name] > [local/backup/your_db_backup.sql]or pg_dump -U [user name] -h localhost -p 5432 -F c -d [db name] -f [backup_filename.dump]백업 파일은 다음과 같이 복원할 수 있다.psql -U [user name] -d postgre..

Log 파일에 정보를 기록하다, 관련 파일에 변경을 가했을 때 이후 Logging 작업이 원활하지 않은 경우가 종종 있다. 보통 logger는 다음과 같이 생성한다. import logging logger = logging.getLogger('code_logger')logger.setLevel(logging.INFO)file_handler = logging.FileHandler('code-result.log')formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')file_handler.setFormatter(formatter)logger.addHandler(file_handler)logger를 이용해, 다음..

회사 다니면서, 실제 서비스를 제공하기 위해 NLP 이외의 분야들에 대한 공부도 많이 필요하다는 것을 느끼고 있다.여기서는 요즘 가장 많이 듣고 있는 WAS, NAS, ~aaS에 대한 간단한 내용을 정리해보려 한다.WAS, Web Application Server 란 ?HTTP 프로토콜을 통해 Client의 요청을 받고, 정적인 서비스를 제공하는 서버를 Web Server라 부른다. Web Server에서는 정적인 컨텐츠 밎 자원 제공, 동적인 컨텐츠 제공을 위한 요청 전달을 하며, 대표적으로 Apache Server, Nginx, IIS가 있다. 이에 더 나아가, 다양한 로직 처리를 요구하는 동적인 서비스를 제공하는 서버를 Web Application Server라 한다. HTTP를 통해 컴퓨터나 장치..

LLM이 급격히 떠오르는 요즘, 프로젝트에서 활용하기 위해서는 보유하고 있는 GPU에 맞는 LLM 모델을 잘 선정하는 것이 중요하다. 여기서는 LLM 모델이 잡아먹는 메모리를 계산하는 방법을 간략하게 소개하고, 추가적으로 LLM 모델을 돌리기 위해 필요한 사양을 알려주는 사이트를 소개한다.들어가기에 앞서메모리 사용량 계산을 위해서는 LLM 모델 학습 시 소요되는 자원과, 추론 시 소요되는 자원에 대한 이해가 필요하다.모델 학습 시 고려해야 하는 사항은 다음과 같다.Weights (Model Parameters)OptimizerGradientActivations & Overhead 모델 추론 시 고려해야 하는 사항은 다음과 같다.Weights (Model Parameters)Total KV Cache Me..

회의록을 자동으로 작성해주는 프로젝트를 진행하는 과정에서, 음성 녹음 어플이 필요해 만들어보았다.음성 녹음 프로그램은 음성 녹음, 음소거, 녹음 중지 기능을 가지고 있고, 각각에 대해 짤막하게 다뤄본다. 디자인음성 녹음, 음소거, 녹음 중지 기능은 버튼을 만들어 각 버튼이 눌릴 때마다 호출되도록 설정했다. 음성 녹음녹음 버튼을 클릭하면 녹음이 진행중인지 우선 확인하고, 이후 기기에서 녹음 권한을 허용했는지 확인한다.두 과정에서 문제가 없다면, 음성 녹음 객체(AudioRecord)와 녹음 품질 개선을 위한 NoiseSuppressor를 생성한다. 이후 음성 녹음을 진행하며, 녹음데이터는 쓰레드를 활용해 하이브리드 방식으로 메모리 및 기기에 저장된다. * 하이브리드 방식이란 ?녹음 데이터를 메모리 버퍼 상..

가끔가다 도커 엔진이 Starting .. 에서 멈출 때가 있다. 보통 시스템을 다시 시작하거나 설정을 잘못 건드린경우 발생하는데, 터미널창에 다음과 같이 입력하면 된다.wsl --terminate docker-desktopwsl --terminate docker-desktop-data이후 도커 엔진을 다시 실행해보면 정상적으로 실행될 것이다.

안드로이드 어플리케이션을 개발할 일이 생겨, Kotlin을 사용해보기로 했다. 우선 jdk 파일을 설치해주자. brew install openjdksudo ln -sfn $(brew --prefix openjdk)/libexec/openjdk.jdk /Library/Java/JavaVirtualMachines/openjdk.jdk설치가 제대로 된 지 확인하려면, 다음과 같이 자바 버전을 출력해보면 된다.java --version다음으로는 kotlin을 설치해주어야 한다.brew install kotlinkotlinc -version사용을 위한 준비는 모두 끝났다.VSCode를 사용하는 경우, 다음과 같이 VSCode Extensions에서 추가 패키지들을 설치해주어야 한다.Code RunnerKotlin..

지난 시간에 만든 NER 모델의 경우, 학습 과정에서의 성능 평가 결과는 좋았으나, 실 사용 결과, 좋지 못한 성능을보였다. 해당 모델을 개선하기 위해, 데이터세트 구축부터 다시 시작해보려 한다. Step 1. 기존 데이터세트 문제점 분석 발견한 문제점 첫번째. 학습 데이터세트의 불균형기존 데이터세트의 경우 증권 종목이 포함되어 있는 텍스트로만 구성되어 있었다. 정확히는, 구축해둔 증권 종목 사전을 GPT에 전달 후, 각 종목들을 포함하고 있는 텍스트 쌍을 생성하도록 시켰다. 이 경우, 증권 종목이 포함되어 있지 않은 데이터와 여러 증권 종목이 들어간 텍스트는 얻을 수 없게 된다.이를 개선하기 위해, 인공지능 챗봇과 사용자의 대화 로그를 학습 데이터세트 구축에 활용하였다.  발견한 문제점 두번째. 증권 ..

사용자 쿼리에 대해, 증권 종목 관련 질문인지 아닌지 1차적으로 분류하고, 증권 종목 관련 쿼리인 경우 어떤 증권 종목인지를 추출하는 업무를 진행하게 되었다. 증권 종목을 인식하기 위해서는 NER 모델을 사용해야겠다고 판단했고, 이 중 Spacy 모델을 사용하여 엔티티 추출하는 과정을 정리해두려 한다.Step 1. 학습 데이터 생성증권 종목 학습 데이터를 만들기 위해서, 증권사 어플을 사용하여 대화한 로그 파일을 사용했다.해당 파일은 다음과 같이 구성되어 있다. 대화날짜Q/A텍스트User_id    이 중, 텍스트에 증권 종목이 포함된 경우, 해당 부분을 STOCK으로 레이블링 진행했다. * 다음 포스트에서 살펴보겠지만, 위와 같은 패턴으로만 구성한 데이터세트의 경우, 생각보다성능이 좋지 않게 나온다. ..

드라이브를 가던 어느날, 타이어가 터져버렸다. 차가 계속 덜덜 거리길래 처음에는 노면이 울퉁불퉁한 줄 알았으나,고속도로를 진입하고 나서도 똑같이 덜덜거리자 내 차의 문제인 것을 인지하고 보험사에 전화를 걸었다.보험사에 내 차의 위치를 알리기 위해 카카오맵과 네이버 지도 등을 켰지만, 통화 중에 바로 내 현재 위치를 정확히파악하는데 어려움을 겪었고, 보험사 직원분이 손쉽게 내 현재 위치를 확인하는 방법을 알려주셔 여기에 공유한다.  그것은 바로 카톡 ! 카톡 대화창에 들어가서 다음과 같이 좌측 하단에 보이는 + 버튼을 클릭하자.여러 버튼이 나오는데, 다음 페이지로 넘어가면 된다.그러면 지도 아이콘이 나온다. 지도를 클릭해주자. 클릭하면, 다음과 같이 현재 나의 위치를 정확히 알 수 있다 !

다음과 같은 구조에서는 src 폴더 내의 파일들을 바로 불러올 수 있다.  ''' train_encoder.py '''from src import encoder enc = encoder()하지만 다음과 같이 실행 파일이 src 폴더와 동일한 경로 상에 위치하는 경우, 앞의 코드는 src 폴더를 찾지 못한다.이를 해결하기 위해서는, 다음과 같이 해당 파일에 경로를 추가해주어야 한다.  import sys sys.path.append('{directory to src folder}') # example: sys.append('/cori/stock/src')경로를 추가해주고 난 후, PYTHONPATH에 import 하고자 하는 폴더의 경로를 추가해주자. export PYTHONPATH=$PYTHONPATH:..