AI

LLM이 급격히 떠오르는 요즘, 프로젝트에서 활용하기 위해서는 보유하고 있는 GPU에 맞는 LLM 모델을 잘 선정하는 것이 중요하다. 여기서는 LLM 모델이 잡아먹는 메모리를 계산하는 방법을 간략하게 소개하고, 추가적으로 LLM 모델을 돌리기 위해 필요한 사양을 알려주는 사이트를 소개한다.들어가기에 앞서메모리 사용량 계산을 위해서는 LLM 모델 학습 시 소요되는 자원과, 추론 시 소요되는 자원에 대한 이해가 필요하다.모델 학습 시 고려해야 하는 사항은 다음과 같다.Weights (Model Parameters)OptimizerGradientActivations & Overhead 모델 추론 시 고려해야 하는 사항은 다음과 같다.Weights (Model Parameters)Total KV Cache Me..

지난 시간에 만든 NER 모델의 경우, 학습 과정에서의 성능 평가 결과는 좋았으나, 실 사용 결과, 좋지 못한 성능을보였다. 해당 모델을 개선하기 위해, 데이터세트 구축부터 다시 시작해보려 한다. Step 1. 기존 데이터세트 문제점 분석 발견한 문제점 첫번째. 학습 데이터세트의 불균형기존 데이터세트의 경우 증권 종목이 포함되어 있는 텍스트로만 구성되어 있었다. 정확히는, 구축해둔 증권 종목 사전을 GPT에 전달 후, 각 종목들을 포함하고 있는 텍스트 쌍을 생성하도록 시켰다. 이 경우, 증권 종목이 포함되어 있지 않은 데이터와 여러 증권 종목이 들어간 텍스트는 얻을 수 없게 된다.이를 개선하기 위해, 인공지능 챗봇과 사용자의 대화 로그를 학습 데이터세트 구축에 활용하였다.  발견한 문제점 두번째. 증권 ..

사용자 쿼리에 대해, 증권 종목 관련 질문인지 아닌지 1차적으로 분류하고, 증권 종목 관련 쿼리인 경우 어떤 증권 종목인지를 추출하는 업무를 진행하게 되었다. 증권 종목을 인식하기 위해서는 NER 모델을 사용해야겠다고 판단했고, 이 중 Spacy 모델을 사용하여 엔티티 추출하는 과정을 정리해두려 한다.Step 1. 학습 데이터 생성증권 종목 학습 데이터를 만들기 위해서, 증권사 어플을 사용하여 대화한 로그 파일을 사용했다.해당 파일은 다음과 같이 구성되어 있다. 대화날짜Q/A텍스트User_id    이 중, 텍스트에 증권 종목이 포함된 경우, 해당 부분을 STOCK으로 레이블링 진행했다. * 다음 포스트에서 살펴보겠지만, 위와 같은 패턴으로만 구성한 데이터세트의 경우, 생각보다성능이 좋지 않게 나온다. ..

.py 파일을 통해 분류를 수행하는데, 인코더 모델의 경우 매번 .py 파일을 실행할 때마다 메모리에 로드되었고, 이로 인해 결과값을 받아보는데 생각보다 시간이 소요되었다. 이를 해결하기 위해 다음과 같은 방법들을 고려할 수 있는데, 여기서는 이 중 FastAPI를 이용해 예측을 수행하는 과정에 대해 다뤄보고자 한다. 1. Hugging Face 캐싱 확인2. 모델 캐시 파일 재사용3. 웹 프레임워크(Flask, FastAPI)를 사용해 모델을 서버 형태로 배포-  서버 형태로 배포할 경우 예측 요청이 들어올 때마다 이미 로드된 모델로 예측을 수행하게 할 수 있다.더보기Method 1. classifier = pipeline("sentiment-analysis", model="microsoft/deber..

curl -sfL https://raw.githubusercontent.com/milvus-io/milvus/master/scripts/standalone_embed.sh -o standalone_embed.shbash standalone_embed.sh startMilvus가 실행되었다.Window 환경에서 설정하는 경우, ubuntu 기반 환경 명령어인 bash 명령어가 잘 먹지 않을 수 있다.이런 경우 yml 파일을 다운받아 직접 compose 해서 도커 이미지 파일을 설치하면 된다.wget https://github.com/milvus-io/milvus/releases/download/v2.4.6/milvus-standalone-docker-compose.yml -O docker-compose.y..

Vector DB는 써야되긴 하겠으나, 어떤 벡터 DB가 괜찮은지 몰라 몇 가지 벡터 데이터베이스에 대한 특징을 정리해보았다. 이 중 적합한 것을 찾아 사용해보자* Self-Host: 데이터베이스가 타사 클라우드 서비스에 의존하지 않고 사용자의 자체 인프라에 호스팅될 수 있는지 여부 지정** Latency: 요청을 시작하고 응답을 받기까지의 지연 시간(밀리초)*** Disk index support: ChatGPT 데이터베이스가 디스크에 인덱스를 저장하는 것을 지원하는지 여부. 메모리에 맞지 않는 대규모 데이터셋을 처리하는 데 필수적 Case 1. Open-Source and hosted cloud - Weviate, Milvus, and Chroma를 고려하는 것이 좋다. Case 2. Performa..

해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 여덟번째 내용을 실제로 실습하는 과정을 정리하며, Self-RAG 관련된 여러 기법을 사용해본다. 이론적인 부분은 다음을 참고하자. Self-RAG해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 여덟번째 내용을 정리하며, ~에 대해 다루고 있다.오픈북 시험을 보는 상황에서, 우리는 크게 두 가지 전략을 사용한다.Methcori.tistory.com오픈북 시험을 보는 상황에서, 우리는 크게 두 가지 전략을 사용한다.Method #01. 익숙한 주제에 대해서는 빠르게 답하고, 익숙하지 않은 주제에 대해서는 참고서를 열어 관련 부분을 빨리 찾아서 머릿속..

해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 일곱번째 내용을 실제로 실습하는 과정을 정리하며, PDF 문서를 효과적으로 처리하는 방법에 대해 다룬다. 이론적인 부분은 다음 글을 참고하자 Exploring RAG for Tables해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 일곱번째 내용을 정리하며, RAG에서 테이블을 관리하기 위한 핵심 기술에 대해 다루고 있다.RAG(복합 정답 생성, Retrieval-Augmecori.tistory.com사용 데이터실습에 사용한 pdf 파일은 내가 작성했던 졸업 논문이다.표, 그래프, 수식 등이 포함되어 있어 테스트 용으로 적합한듯 .. ? Table P..

해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 여섯번째 내용을 실제로 실습하는 과정을 정리하며, 쿼리 재작성 관련 여러 가지 방법을 사용해본다. 이론적인 부분은 다음을 참고하자. Exploring Query Rewriting해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 여섯번째 내용을 정리하며, 쿼리 재작성과 관련된 여러 기법에 대해 다루고 있다.검색 증강 생성(RAG)에서는 부정확한 표현cori.tistory.com쿼리 재작성은 쿼리와 문서의 의미를 일치시키기 위한 핵심 기술이다.Hypothetical Document Embeddings (HyDE)HyDE는 이론 부분에서도 설명했듯이, 입..

해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 다섯번째 내용을 실제로 실습하는 과정을 정리하며, 의미 기반 청킹 여러 가지 방법을 사용해본다. 이론적인 부분은 다음을 참고하자. Exploring Semantic Chunking해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 다섯번째 내용을 정리하며, 이 글에서는 의미 기반 청킹 방법을 탐구하고, 그 원리와 응용에 대해 다루고 있다.  가장 일cori.tistory.comEmbedding-based methodspip install llama-index-corepip install llama-index-readers-filepip install ..

해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 네번째 내용을 실제로 실습하는 과정을 정리하며, RAG의 Re-Ranking 과정에 대해 살펴본다. 이론적인 부분은 다음을 참고하자. Advanced RAG #04: Re-ranking해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 네번째 내용을 정리하며, RAG의 Re-Ranking 기술을 소개하고, 두 가지 방법을 사용하여 해당 기능을 통합하는 방법에 대해 다cori.tistory.com사용 데이터실습에 사용한 pdf 파일은 내가 작성했던 졸업 논문이다.표, 그래프, 수식 등이 포함되어 있어 테스트 용으로 적합한듯 .. ?Using re-ran..

해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 두 번째 내용을 실제로 실습하는 과정을 정리하며, PDF 문서를 효과적으로 처리하는 방법에 대해 다룬다. 이론적인 부분은 다음 글을 참고하자. Advanced RAG #02. Unveiling PDF Parsing (이론)해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 두 번째 내용을 정리하며, PDF 문서를 효과적으로 처리하는 방법에 대해 다루고 있다. 실제 작업에서는 비구조화된 데이터cori.tistory.com사용 데이터실습에 사용한 pdf 파일은 내가 작성했던 졸업 논문이다.표, 그래프, 수식 등이 포함되어 있어 테스트 용으로 적합한듯 .. ?..