rag

해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 네번째 내용을 실제로 실습하는 과정을 정리하며, RAG의 Re-Ranking 과정에 대해 살펴본다. 이론적인 부분은 다음을 참고하자. Advanced RAG #04: Re-ranking해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 네번째 내용을 정리하며, RAG의 Re-Ranking 기술을 소개하고, 두 가지 방법을 사용하여 해당 기능을 통합하는 방법에 대해 다cori.tistory.com사용 데이터실습에 사용한 pdf 파일은 내가 작성했던 졸업 논문이다.표, 그래프, 수식 등이 포함되어 있어 테스트 용으로 적합한듯 .. ?Using re-ran..

해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 열번째 내용을 정리하며, 교정된 정보 검색 증강 생성 방법인 CRAG에 대해 다루고 있다.흔히 접하는 시나리오인 오픈북 시험에 참여하는 것에서 시작한다. 오픈북 시험에서, 보통 우리는 세 가지 전략을 가진다:방법 1: 익숙한 주제는 빠르게 답하고, 익숙하지 않은 주제는 참고서를 참조한다. 관련 부분을 신속하게 찾아내어, 그것을 정리 및 요약한 후 시험지에 답을 작성한다(Self-RAG).방법 2: 각 주제에 대해 책을 참조한다. 관련 부분을 찾아내어 요약한 후 시험지에 답을 작성한다(RAG).방법 3: 각 주제에 대해 책을 참조하고 관련 부분을 찾아낸다. 의견을 형성하기 전에 수집한 정보를 '올바른 정..

해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 여덟번째 내용을 정리하며, Self-RAG에 대해 다루고 있다.오픈북 시험을 보는 상황에서, 우리는 크게 두 가지 전략을 사용한다.Method #01. 익숙한 주제에 대해서는 빠르게 답하고, 익숙하지 않은 주제에 대해서는 참고서를 열어 관련 부분을 빨리 찾아서 머릿속으로 정리한 후 시험지에 답을 쓴다.Method #02. 모든 주제에 대해 책을 참고한다. 관련 섹션을 찾아서 머릿속으로 정리한 후 시험지에 답을 쓴다. 방법 2는 시간이 많이 소요되고 관련 없거나 잘못된 정보를 도입할 가능성이 있으며, 이는 원래 이해했던 부분에서도 혼란과 실수를 초래할 수 있다. 방법 2는 전통적인 RAG 프로세스를 예시..

해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 일곱번째 내용을 정리하며, RAG에서 테이블을 관리하기 위한 핵심 기술에 대해 다루고 있다.RAG(복합 정답 생성, Retrieval-Augmented Generation)을 구현하는 것은 특히 비구조화된 문서에서 테이블을 효과적으로 분석하고 이해하는 데 있어 어려움을 동반한다. 특히 스캔된 문서나 이미지 형식의 문서에서 어려우며, 크게 3가지 도전과제가 있다. Task 1. 문서를 스캔하거나 이미지 문서를 처리하는 복잡성으로 인해 다양한 구조, 비문자 요소의 포함, 손글씨와 인쇄된 내용의 조합 등이 자동으로 테이블 정보를 정확하게 추출하는 데 어려움을 준다. 부정확한 분석은 테이블 구조를 손상시킬 수..

해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 여섯번째 내용을 정리하며, 쿼리 재작성과 관련된 여러 기법에 대해 다루고 있다.검색 증강 생성(RAG)에서는 부정확한 표현이나 의미 정보의 부족과 같은 종종 사용자의 원래 쿼리와 관련된 문제에 직면한다. 예를 들어, "2020년 NBA 챔피언은 로스앤젤레스 레이커스입니다! langchain 프레임워크가 무엇인지 알려주세요"라는 쿼리는 직접 검색하면 LLM에서 부정확하거나 답변할 수 없는 응답을 생성할 수 있다. 사용자 쿼리의 의미 공간을 문서의 의미 공간과 일치시키는 것이 중요하며, 쿼리 재작성 기술은 이 문제를 효과적으로 해결할 수 있다.쿼리 재작성은 쿼리와 문서의 의미를 일치시키기 위한 핵심 기술로..

해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 다섯번째 내용을 정리하며, 이 글에서는 의미 기반 청킹 방법을 탐구하고, 그 원리와 응용에 대해 다루고 있다.가장 일반적으로 사용되는 청킹 방법은 규칙 기반 청킹 방법으로, 고정된 청크 크기나 인접 청크의 중첩등이 있다. 다중 레벨 문서의 경우, Langchain에서 제공하는 RecursiveCharacterTextSplitter를 사용할 수 있다. 실제 응용에서는 미리 정의된 규칙(청크 크기 또는 중첩 부분의 크기)이 엄격하기 때문에 규칙 기반 청킹 방법은 불완전한 검색 문맥 혹은 잡음이 포함된 과도한 청크 크기와 같은 문제를 일으키기 쉽다. 이러한 문제로 인해 의미 기반으로 청킹하는 것이 보다 성능..

해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 세번째 내용을 정리하며, RAG 파이프라인 평가를 위한 프레임워크인 RAGAs(Retrieval Augmented Generation Assessment)가 제안한 RAG 평가 지표에 대해 다루고 있다.비즈니스 시스템을 위한 Retrieval Augmented Generation(RAG) 애플리케이션을 개발했다면, 시스템이 얼마나 잘 작동하는지 평가해야 한다. 기존 RAG가 충분히 효과적이지 않다고 판단되면, 고급 RAG 개선 방법의 효과를 검증할 필요가 있을 수 있다. Metrics of RAG evaluationRAG는 입력 쿼리, 검색된 문맥, 그리고 LLM에 의해 생성된 응답이라는 세 가지 주요..

해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 두 번째 내용을 정리하며, PDF 문서를 효과적으로 처리하는 방법에 대해 다루고 있다. 실제 작업에서는 비구조화된 데이터가 구조화된 데이터보다 훨씬 더 많다. 이러한 방대한 데이터를 파싱할 수 없다면, 그 엄청난 가치를 실현할 수 없다. 비구조화된 데이터 중에서 PDF 문서가 대부분을 차지하며, PDF 문서를 효과적으로 처리하는 것은 다른 유형의 비구조화된 문서를 관리하는 데에도 큰 도움이 될 수 있다. The Challenges of Parsing PDFPDF 문서는 비구조화된 문서의 대표적인 예이지만, PDF 문서에서 정보를 추출하는 것은 도전적인 과정이다. PDF 파일은 PDF 리더기나 프린터가 ..

해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 첫 번째 내용을 정리한다. Navie RAG의 구조 및 RAG 프로세스 각 단계에서의 문제점에 대해 다루고 있다.Naive RAGNaive RAG는 대부분 다음 단계들을 포함한다.  # 01. IndexingPDF, HTML과 같은 다양한 파일 형식을 표준화된 일반 텍스트로 변환한다. 언어 모델의 문맥 제약을 수용하기 위해, 이러한 텍스트는 청킹(chunking)이라고 불리는 과정으로 더 작고 관리 가능한 조각들로 나누어진다. 나누어진 조각들은 임베딩 모델을 사용하여 벡터 표현으로 변환되며, 텍스트 조각들과 그들의 벡터 임베딩을 키-값 쌍으로 저장하는 인덱스를 생성하여 효율적이고 확장 가능한 검색 기능..

LLM (Large Language Model)의 한계ChatGPT를 비롯한 여러 LLM 모델들은 자신이 학습한 데이터에 대한 질문은 답을 나쁘지 않게 한다.하지만 자신이 학습하지 않은 내용을 질문하는 경우, 거짓 정보를 진실된 정보인 것처럼 알려준다 (할루시네이션) RAG거짓 정보를 발설하는 현상을 개선하기 위해, RAG (Retrieval Augmented Generation) 기법이 등장했다. RAG는 영어 단어에서 유추해볼 수 있듯이 추출, 증강, 생성하는 단계로 이루어지며, 외부 문서에서 추가 정보를 추출하고 추출한 정보를 Prompt Template을 활용해 증강하고 이를 LLM에 전달하여 응답을 생성한다.추출 단계에서는 사용자가 던진 질문과 관련성이 높은 정보를 외부 문서에서 '추출'해온다...

해외블로그 Medium에 게시된 Talk to your Database using RAG and LLMs 포스트의 내용을 실습한다.※ 진행에 앞서, 다음 2가지 사항을 미리 준비해두면 좋다.1. 실습에 사용할 데이터 (MySQL 데이터베이스에 업로드)2. OpenAI API Key  - OpenAI 공식 홈페이지에서 발급0. MySQL 관련 설정 LLM 모델이 접근할 MySQL 데이터베이스 관련 파라미터를 정의해준다. host = 'ipv4 주소'port = '3306'username = 'DB 사용자 이름'password = 'DB 사용자 비밀번호'database_schema = '데이터베이스 이름'접근한 파라미터를 사용해 mysql uri 값을 얻을 수 있다. mysql_uri = f"mysql+py..

지금까지 나는 Docker를 사용해오면서, docker commit을 통해 프로젝트 이미지를 생성 및 관리해왔다. 초반에는 아무런 불편함이 없었지만, 점차 불편한점들이 체감되기 시작하면서, Dockerfile 공부를 뒤늦게 시작했다.이 포스트는 RAG (Retriever Augmented Generation) 모델 아키텍처를 위한 Docker 이미지를 만드는 과정을 처음부터 다루고 있다.0. Dockerfile 생성 Dockerfile은 아무런 확장자가 없는 파일로, 파일명을 Dockerfile로 설정해서 하나 만들어주자. 1. Dockerfile OptioncommandexplanationexampleFROM기본 이미지 지정 (Docker Hub 참고)FROM pytorch/pytorchWORKDIR작..