AI

해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 여덟번째 내용을 실제로 실습하는 과정을 정리하며, Self-RAG 관련된 여러 기법을 사용해본다. 이론적인 부분은 다음을 참고하자. Self-RAG해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 여덟번째 내용을 정리하며, ~에 대해 다루고 있다.오픈북 시험을 보는 상황에서, 우리는 크게 두 가지 전략을 사용한다.Methcori.tistory.com오픈북 시험을 보는 상황에서, 우리는 크게 두 가지 전략을 사용한다.Method #01. 익숙한 주제에 대해서는 빠르게 답하고, 익숙하지 않은 주제에 대해서는 참고서를 열어 관련 부분을 빨리 찾아서 머릿속..

LangGraph 탄생 배경 - LLM이 생성한 답변이 Hallucination이 발생한 것은 아닐까 ?- RAG를 적용하여 받은 답변이 문서에는 없는 사전지식으로 답변한 것이 아닐까 ?- 문서 검색에서 원하는 내용이 없을 경우 부족한 정보를 검색하여 보강할 수 없을까 ?  잘못된 검색 결과가 잘못된 정보 검색으로 이어질 수 있음 => 사전에 정의된 데이터 소싱 자원, 사전에 정의된 Fixed Size Chunk, 사전에 정의된 Query 입력, 사전에 정의된 검색 방법, 신뢰하기 어려운 LLM 혹은 Agent, 고정된 프롬프트 형식, LLM의 답변 결과에 대한 문서와의 관련성 / 신뢰성 Conventioanl RAG의 문제점은 RAG 파이프라인이 단방향 구조이기 때문에 발생한다. 이전에 잘못된 과정이 ..

해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 일곱번째 내용을 실제로 실습하는 과정을 정리하며, PDF 문서를 효과적으로 처리하는 방법에 대해 다룬다. 이론적인 부분은 다음 글을 참고하자 Exploring RAG for Tables해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 일곱번째 내용을 정리하며, RAG에서 테이블을 관리하기 위한 핵심 기술에 대해 다루고 있다.RAG(복합 정답 생성, Retrieval-Augmecori.tistory.com사용 데이터실습에 사용한 pdf 파일은 내가 작성했던 졸업 논문이다.표, 그래프, 수식 등이 포함되어 있어 테스트 용으로 적합한듯 .. ? Table P..

해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 여섯번째 내용을 실제로 실습하는 과정을 정리하며, 쿼리 재작성 관련 여러 가지 방법을 사용해본다. 이론적인 부분은 다음을 참고하자. Exploring Query Rewriting해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 여섯번째 내용을 정리하며, 쿼리 재작성과 관련된 여러 기법에 대해 다루고 있다.검색 증강 생성(RAG)에서는 부정확한 표현cori.tistory.com쿼리 재작성은 쿼리와 문서의 의미를 일치시키기 위한 핵심 기술이다.Hypothetical Document Embeddings (HyDE)HyDE는 이론 부분에서도 설명했듯이, 입..

해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 다섯번째 내용을 실제로 실습하는 과정을 정리하며, 의미 기반 청킹 여러 가지 방법을 사용해본다. 이론적인 부분은 다음을 참고하자. Exploring Semantic Chunking해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 다섯번째 내용을 정리하며, 이 글에서는 의미 기반 청킹 방법을 탐구하고, 그 원리와 응용에 대해 다루고 있다.  가장 일cori.tistory.comEmbedding-based methodspip install llama-index-corepip install llama-index-readers-filepip install ..

해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 네번째 내용을 실제로 실습하는 과정을 정리하며, RAG의 Re-Ranking 과정에 대해 살펴본다. 이론적인 부분은 다음을 참고하자. Advanced RAG #04: Re-ranking해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 네번째 내용을 정리하며, RAG의 Re-Ranking 기술을 소개하고, 두 가지 방법을 사용하여 해당 기능을 통합하는 방법에 대해 다cori.tistory.com사용 데이터실습에 사용한 pdf 파일은 내가 작성했던 졸업 논문이다.표, 그래프, 수식 등이 포함되어 있어 테스트 용으로 적합한듯 .. ?Using re-ran..

해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 두 번째 내용을 실제로 실습하는 과정을 정리하며, PDF 문서를 효과적으로 처리하는 방법에 대해 다룬다. 이론적인 부분은 다음 글을 참고하자. Advanced RAG #02. Unveiling PDF Parsing (이론)해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 두 번째 내용을 정리하며, PDF 문서를 효과적으로 처리하는 방법에 대해 다루고 있다. 실제 작업에서는 비구조화된 데이터cori.tistory.com사용 데이터실습에 사용한 pdf 파일은 내가 작성했던 졸업 논문이다.표, 그래프, 수식 등이 포함되어 있어 테스트 용으로 적합한듯 .. ?..

해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 열두번째 내용을 정리하며, 문서나 코퍼스의 전반적인 이해를 향상시키기 위한 네 가지 혁신적인 방법과 여기서 얻은 통찰과 생각에 대해 다루고 있다.과학 문헌 검토, 법률 사례 요약 등 중요한 실제 작업은 여러 청크나 문서에 걸쳐 지식을 이해해야 한다. 기존 RAG 방법은 각 청크를 독립적으로 인코딩하기 때문에 청크 경계를 넘어선 정보 이해를 요구하는 작업을 LLM이 수행하는 데 도움이 되지 않는다. 여기서는 문서나 코퍼스의 전반적인 이해를 향상시키기 위한 네 가지 방법은 다음과 같다. Method 1. RAPTOR: 트리 기반 검색 시스템으로 텍스트 청크를 재귀적으로 임베딩, 클러스터링, 요약한다.Met..

해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 열한번째 내용을 정리하며, 초기 쿼리를 개선하는 쿼리 분류와 쿼리 정제에 대해 다루고 있다.전통적인 RAG 기술은 LLM의 답변 부정확성을 완화할 수 있지만, 초기 쿼리를 개선하지는 않는다. Problem 1. 간단한 쿼리를 처리하는 데 과도한 컴퓨팅 자원을 소비할 수 있다.Problem 2. 복잡한 쿼리의 경우, 원래 쿼리만으로는 충분한 정보를 수집하지 못할 수 있다.Problem 3. 여러 가지 답이 가능한 모호한 쿼리의 경우, 원래 쿼리를 사용한 정보 검색이 충분하지 않다. 쿼리 분류와 쿼리 정제를 통해 초기 쿼리를 개선할 수 있으며, 두 방법 모두 소형 모델의 훈련을 통해 개선될 수 있다. Le..

해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 열번째 내용을 정리하며, 교정된 정보 검색 증강 생성 방법인 CRAG에 대해 다루고 있다.흔히 접하는 시나리오인 오픈북 시험에 참여하는 것에서 시작한다. 오픈북 시험에서, 보통 우리는 세 가지 전략을 가진다:방법 1: 익숙한 주제는 빠르게 답하고, 익숙하지 않은 주제는 참고서를 참조한다. 관련 부분을 신속하게 찾아내어, 그것을 정리 및 요약한 후 시험지에 답을 작성한다(Self-RAG).방법 2: 각 주제에 대해 책을 참조한다. 관련 부분을 찾아내어 요약한 후 시험지에 답을 작성한다(RAG).방법 3: 각 주제에 대해 책을 참조하고 관련 부분을 찾아낸다. 의견을 형성하기 전에 수집한 정보를 '올바른 정..