AI/Natural Language Processing

해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 첫 번째 내용을 정리한다. Navie RAG의 구조 및 RAG 프로세스 각 단계에서의 문제점에 대해 다루고 있다.Naive RAGNaive RAG는 대부분 다음 단계들을 포함한다.  # 01. IndexingPDF, HTML과 같은 다양한 파일 형식을 표준화된 일반 텍스트로 변환한다. 언어 모델의 문맥 제약을 수용하기 위해, 이러한 텍스트는 청킹(chunking)이라고 불리는 과정으로 더 작고 관리 가능한 조각들로 나누어진다. 나누어진 조각들은 임베딩 모델을 사용하여 벡터 표현으로 변환되며, 텍스트 조각들과 그들의 벡터 임베딩을 키-값 쌍으로 저장하는 인덱스를 생성하여 효율적이고 확장 가능한 검색 기능..

LLM (Large Language Model)의 한계ChatGPT를 비롯한 여러 LLM 모델들은 자신이 학습한 데이터에 대한 질문은 답을 나쁘지 않게 한다.하지만 자신이 학습하지 않은 내용을 질문하는 경우, 거짓 정보를 진실된 정보인 것처럼 알려준다 (할루시네이션) RAG거짓 정보를 발설하는 현상을 개선하기 위해, RAG (Retrieval Augmented Generation) 기법이 등장했다. RAG는 영어 단어에서 유추해볼 수 있듯이 추출, 증강, 생성하는 단계로 이루어지며, 외부 문서에서 추가 정보를 추출하고 추출한 정보를 Prompt Template을 활용해 증강하고 이를 LLM에 전달하여 응답을 생성한다.추출 단계에서는 사용자가 던진 질문과 관련성이 높은 정보를 외부 문서에서 '추출'해온다...

해외블로그 Medium에 게시된 Talk to your Database using RAG and LLMs 포스트의 내용을 실습한다.※ 진행에 앞서, 다음 2가지 사항을 미리 준비해두면 좋다.1. 실습에 사용할 데이터 (MySQL 데이터베이스에 업로드)2. OpenAI API Key  - OpenAI 공식 홈페이지에서 발급0. MySQL 관련 설정 LLM 모델이 접근할 MySQL 데이터베이스 관련 파라미터를 정의해준다. host = 'ipv4 주소'port = '3306'username = 'DB 사용자 이름'password = 'DB 사용자 비밀번호'database_schema = '데이터베이스 이름'접근한 파라미터를 사용해 mysql uri 값을 얻을 수 있다. mysql_uri = f"mysql+py..

※ 연구하면서 혼자 구현해본 내용이기에 틀린게 있을 수 있음   ※ 사용 데이터세트는 송영숙님의 챗봇 데이터0. 사전 작업1. Bi-encoder 2. Cross-encoder Cross-encoder는 Sentence Trasnforemr 라이브러리를 이용해 구현3. Poly-encoder * attention 연산을 위와 같이 작성하였더니, Poly-encoder 출력 값과 Bi-encoder 출력 결과가 동일하게 나와서 수정  ♣ 참고 자료https://ratsgo.github.io/nlpbook/docs/language_model/tr_self_attention/https://github.com/sooftware/nlp-tasks/blob/main/dialogue_retrieval/model.py..

⊙ 해당 포스팅은 다른 분들이 작성한 내용을 최소한으로 요약 정리한 포스팅입니다.⊙ 보다 자세한 내용 (수식 등)을 알고 싶으신 분들은 맨 아래 페이지의 참고 자료에 있는 사이트들을 참고해주세요.0. Bi-encoder & Cross-encoder- pairwise comparison task 문제를 해결하기 위한 인코더- 다음에 올 문장을 예측하는 등의 작업에 사용됨 - 두 인코더 모두 Cross-Entropy Loss를 최소화도록 학습함1) Bi-encoderContext Encoder와 Candidate Encoder가 각각 context 문장과 해당 context 문장 다음에 올 후보 문장을 인코딩함인코딩 결과로 Context Embedding(ctxt Emb), Candidate Embeddin..