advanced rag

해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 두 번째 내용을 정리하며, PDF 문서를 효과적으로 처리하는 방법에 대해 다루고 있다. 실제 작업에서는 비구조화된 데이터가 구조화된 데이터보다 훨씬 더 많다. 이러한 방대한 데이터를 파싱할 수 없다면, 그 엄청난 가치를 실현할 수 없다. 비구조화된 데이터 중에서 PDF 문서가 대부분을 차지하며, PDF 문서를 효과적으로 처리하는 것은 다른 유형의 비구조화된 문서를 관리하는 데에도 큰 도움이 될 수 있다. The Challenges of Parsing PDFPDF 문서는 비구조화된 문서의 대표적인 예이지만, PDF 문서에서 정보를 추출하는 것은 도전적인 과정이다. PDF 파일은 PDF 리더기나 프린터가 ..

해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 첫 번째 내용을 정리한다. Navie RAG의 구조 및 RAG 프로세스 각 단계에서의 문제점에 대해 다루고 있다.Naive RAGNaive RAG는 대부분 다음 단계들을 포함한다.  # 01. IndexingPDF, HTML과 같은 다양한 파일 형식을 표준화된 일반 텍스트로 변환한다. 언어 모델의 문맥 제약을 수용하기 위해, 이러한 텍스트는 청킹(chunking)이라고 불리는 과정으로 더 작고 관리 가능한 조각들로 나누어진다. 나누어진 조각들은 임베딩 모델을 사용하여 벡터 표현으로 변환되며, 텍스트 조각들과 그들의 벡터 임베딩을 키-값 쌍으로 저장하는 인덱스를 생성하여 효율적이고 확장 가능한 검색 기능..