AI

해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 첫 번째 내용을 정리한다. Navie RAG의 구조 및 RAG 프로세스 각 단계에서의 문제점에 대해 다루고 있다.Naive RAGNaive RAG는 대부분 다음 단계들을 포함한다.  # 01. IndexingPDF, HTML과 같은 다양한 파일 형식을 표준화된 일반 텍스트로 변환한다. 언어 모델의 문맥 제약을 수용하기 위해, 이러한 텍스트는 청킹(chunking)이라고 불리는 과정으로 더 작고 관리 가능한 조각들로 나누어진다. 나누어진 조각들은 임베딩 모델을 사용하여 벡터 표현으로 변환되며, 텍스트 조각들과 그들의 벡터 임베딩을 키-값 쌍으로 저장하는 인덱스를 생성하여 효율적이고 확장 가능한 검색 기능..

LLM (Large Language Model)의 한계ChatGPT를 비롯한 여러 LLM 모델들은 자신이 학습한 데이터에 대한 질문은 답을 나쁘지 않게 한다.하지만 자신이 학습하지 않은 내용을 질문하는 경우, 거짓 정보를 진실된 정보인 것처럼 알려준다 (할루시네이션) RAG거짓 정보를 발설하는 현상을 개선하기 위해, RAG (Retrieval Augmented Generation) 기법이 등장했다. RAG는 영어 단어에서 유추해볼 수 있듯이 추출, 증강, 생성하는 단계로 이루어지며, 외부 문서에서 추가 정보를 추출하고 추출한 정보를 Prompt Template을 활용해 증강하고 이를 LLM에 전달하여 응답을 생성한다.추출 단계에서는 사용자가 던진 질문과 관련성이 높은 정보를 외부 문서에서 '추출'해온다...

해외블로그 Medium에 게시된 Talk to your Database using RAG and LLMs 포스트의 내용을 실습한다.※ 진행에 앞서, 다음 2가지 사항을 미리 준비해두면 좋다.1. 실습에 사용할 데이터 (MySQL 데이터베이스에 업로드)2. OpenAI API Key  - OpenAI 공식 홈페이지에서 발급0. MySQL 관련 설정 LLM 모델이 접근할 MySQL 데이터베이스 관련 파라미터를 정의해준다. host = 'ipv4 주소'port = '3306'username = 'DB 사용자 이름'password = 'DB 사용자 비밀번호'database_schema = '데이터베이스 이름'접근한 파라미터를 사용해 mysql uri 값을 얻을 수 있다. mysql_uri = f"mysql+py..

해당 포스트는 해외블로그 Medium에 게시된 포스트 및 Llama 공식 문서 내용을 정리 한 것이다. Llama Index 왜 쓰는데 ?  Llama Index 사용 이유 !  여러 LLM (Large Language Model)들은 위키피디아, 소스 코드 등과 같은 대량의 공개 데이터에 대해 사전 훈련되어 있다.하지만, 이런 LLM들은 보통 사용자의 데이터나 해당 문제에 특화된 데이터로는 훈련되어 있지 않다. 본인의 데이터로 LLM을 세밀하게 조정할 수도 있지만, 파라미터 수가 기본 Billion (B) 이상인 요즘 언어 모델을 새로 학습하는 것은 상당한 비용이 소모된다. 비용적인 문제로 인해, LLM이 최근 정보를 학습하도록 업데이트하는 것은 쉽지 않으며,이러한 문제를 해결하기 위해 여러 방법론이 ..

※ 연구하면서 혼자 구현해본 내용이기에 틀린게 있을 수 있음   ※ 사용 데이터세트는 송영숙님의 챗봇 데이터0. 사전 작업1. Bi-encoder 2. Cross-encoder Cross-encoder는 Sentence Trasnforemr 라이브러리를 이용해 구현3. Poly-encoder * attention 연산을 위와 같이 작성하였더니, Poly-encoder 출력 값과 Bi-encoder 출력 결과가 동일하게 나와서 수정  ♣ 참고 자료https://ratsgo.github.io/nlpbook/docs/language_model/tr_self_attention/https://github.com/sooftware/nlp-tasks/blob/main/dialogue_retrieval/model.py..

⊙ 해당 포스팅은 다른 분들이 작성한 내용을 최소한으로 요약 정리한 포스팅입니다.⊙ 보다 자세한 내용 (수식 등)을 알고 싶으신 분들은 맨 아래 페이지의 참고 자료에 있는 사이트들을 참고해주세요.0. Bi-encoder & Cross-encoder- pairwise comparison task 문제를 해결하기 위한 인코더- 다음에 올 문장을 예측하는 등의 작업에 사용됨 - 두 인코더 모두 Cross-Entropy Loss를 최소화도록 학습함1) Bi-encoderContext Encoder와 Candidate Encoder가 각각 context 문장과 해당 context 문장 다음에 올 후보 문장을 인코딩함인코딩 결과로 Context Embedding(ctxt Emb), Candidate Embeddin..

교수님이 크롤링 관련 일을 주셔서, 기록용으로 업로드 ~0. 해시 태그 이용 input:  해시 태그 + 크롤링 게시글 개수 output: 게시글의 내용, 해시태그, 장소, 좋아요 수  1. 계정 ID 이용 input: 인스타 계정 아이디output1: 계정 아이디, 게시글 수, 팔로워 수output2: 계정 아이디, 최근 9개 게시글의 좋아요 수, 댓글 수, 본문, 해시태그, 장소 tqdm 라이브러리를 사용해 게시글 크롤링이 잘 진행되고 있는지도 확인해 보았다.또한 댓글 수를 계산하기 위해, 댓글 창 부분의 '+' 버튼을 계속 누르도록 설정해주는 부분도 추가해 주었다.  아 그리고 크롤링할 때는 copy to xpath 기능을 활용함 !  * 크롤링한 데이터는 공부 용도로만 사용하였음

부제: C3D, 3D Convolution Layer를 이용한 이상행동 분류6개월간의 교육 과정이 모두 끝이 났다. 마지막 2달 동안은 이상행동 탐지 CCTV 프로젝트를 진행했는데,이에 대한 내용을 이번 포스팅에서 다뤄보려 한다.  ※ 프로젝트 코드는 보유하고 있지 않습니다 (2023.12.16)0. 개발 환경, 개발 배경 및 서비스 아키텍처0) 개발 환경aws region: ap-northeast-1 (Tokyo, Kinesis Video Stream 서비스를 이용하기 위함) ec2 instance: Deep Learning Base AMI (Ubuntu 18.04) Version 49.0, p2.xlarge                        Deep Learning Base AMI (Ubunt..

개요선형대수, 확률과 통계, 기본 인공지능에 관한 지식들을 정리하여 향후 면접에서나 필기 시험에 대비하기 위한 포스팅내용 정리Part I. 선형대수학-> 선형대수 관련 내용은 '다크프로그래머'님의 티스토리에 정리가 상당히 잘 되어 있어, 해당 사이트를 보며 공부 Part II. 확률과 통계-> 다음 사이트에 올라와있는 PDF를 사용해 공부  2021 수능용 확률과 통계 개념 총정리새과정에 맞춰 정리한 2021 수능용 확률과 통계 개념 총정리 입니다. 2021 수능용 확률과 통계 개념 총정리...blog.naver.com Part III. 기본 인공지능1. 인공지능 개요1) 인공지능이란 ?-> 기계가 사람의 지능을 모방하게 하는 기술로, 다트머스대학 수학과 교수인 '존 메카시'가 "지능이 있는 기계를 만들..

개요Deep Neural Networks의 성능을 개선하는 방법에 대해 알아본다. 내용 정리1. 최적화 (Optimization)0) 정의-> Train data에서 최고의 성능을 얻으려고 모델 파라미터들을 조정하는 과정  1) 일반화 (Generalization)· 훈련된 모델이 처음 보는 데이터에 대해 잘 추론할 수 있는 상태 · 학습을 통해 일반화된 특징들을 잘 찾은 상태  2) 과대적합 (Overfitting)· 검증 결과 Train set에 대한 성능은 좋은데 validation dataset에 대한 성능은 안 좋은 상태로, 학습을 과하게 한 상태를 말함 · 학습이 과하게 되어 쓸데 없는 패턴을 모두 외워버려, 오히려 처음 본 데이터에 대한 예측 성능이 떨어진다.· 보통 Train Dataset..