분류 전체보기

해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 첫 번째 내용을 정리한다. Navie RAG의 구조 및 RAG 프로세스 각 단계에서의 문제점에 대해 다루고 있다.Naive RAGNaive RAG는 대부분 다음 단계들을 포함한다.  # 01. IndexingPDF, HTML과 같은 다양한 파일 형식을 표준화된 일반 텍스트로 변환한다. 언어 모델의 문맥 제약을 수용하기 위해, 이러한 텍스트는 청킹(chunking)이라고 불리는 과정으로 더 작고 관리 가능한 조각들로 나누어진다. 나누어진 조각들은 임베딩 모델을 사용하여 벡터 표현으로 변환되며, 텍스트 조각들과 그들의 벡터 임베딩을 키-값 쌍으로 저장하는 인덱스를 생성하여 효율적이고 확장 가능한 검색 기능..

LLM (Large Language Model)의 한계ChatGPT를 비롯한 여러 LLM 모델들은 자신이 학습한 데이터에 대한 질문은 답을 나쁘지 않게 한다.하지만 자신이 학습하지 않은 내용을 질문하는 경우, 거짓 정보를 진실된 정보인 것처럼 알려준다 (할루시네이션) RAG거짓 정보를 발설하는 현상을 개선하기 위해, RAG (Retrieval Augmented Generation) 기법이 등장했다. RAG는 영어 단어에서 유추해볼 수 있듯이 추출, 증강, 생성하는 단계로 이루어지며, 외부 문서에서 추가 정보를 추출하고 추출한 정보를 Prompt Template을 활용해 증강하고 이를 LLM에 전달하여 응답을 생성한다.추출 단계에서는 사용자가 던진 질문과 관련성이 높은 정보를 외부 문서에서 '추출'해온다...

캐나다 AI 기업 Cohere는 2024년 5월 23일, 새로운 다국어 언어 모델 Aya23을 발표했다.[관련 소식]Aya 23 모델 패밀리는 Aya에 기반을 두고 있다. Aya는 전 세계 3,000명의 협력자를 모아 현재까지 가장 큰 다국어 교육 미세 조정 데이터셋과 최첨단 대규모 다국어 모델을 구축한 오픈 사이언스 움직임이다. Aya 101은 101개의 언어를 다루며 폭넓은 적용에 중점을 두었지만, Aya 23에서는 최근에 발표된 Aya 데이터셋 컬렉션과 성능이 뛰어난 사전 학습 모델을 결합하여 깊이에 중점을 두고 있다. 그 결과로, 23개 언어를 지원하는 강력한 다국어 대형 언어 연구 모델이 탄생하여 전 세계 인구의 거의 절반에 달하는 사람들에게 최첨단 언어 모델링 기능을 확장하게 되었다. 대부분의..

해당 포스트는 본인 PC에서 생성한 MySQL 서버 데이터베이스에 다른 PC를 사용해 원격 접속할 수 있도록 설정하는 방법에 대해 다루고 있으며, 이는 동일한 내부망 환경에서 진행된 것임을 알려드립니다. (사용하고 있는 네트워크 환경이 다를 경우 적용되지 않을 수 있음 !!) MySQL1. MySQL 환경변수 설정 - mysqld.exe 파일이 있는 경로를 복사해서 시스템 환경변수 ($PATH)에 추가해주기 2. MySQL 설정 1) mysql 접속 $ mysql -h[ip주소] -u [사용자 이름] -p $ mysql -h 192.168.0.146 -u cori -p 2) mysql 계정 설정 $ use mysql; # mysql 데이터베이스 사용 $ SELECT host, user FROM user;..

해외블로그 Medium에 게시된 Talk to your Database using RAG and LLMs 포스트의 내용을 실습한다.※ 진행에 앞서, 다음 2가지 사항을 미리 준비해두면 좋다.1. 실습에 사용할 데이터 (MySQL 데이터베이스에 업로드)2. OpenAI API Key  - OpenAI 공식 홈페이지에서 발급0. MySQL 관련 설정 LLM 모델이 접근할 MySQL 데이터베이스 관련 파라미터를 정의해준다. host = 'ipv4 주소'port = '3306'username = 'DB 사용자 이름'password = 'DB 사용자 비밀번호'database_schema = '데이터베이스 이름'접근한 파라미터를 사용해 mysql uri 값을 얻을 수 있다. mysql_uri = f"mysql+py..

Hugging Face에서 LLM 모델 다운  아래 명령어를 통해 LLM 모델을 로컬 컴퓨터로 다운 받을 수 있다. from transformers import AutoModelForCausalLM, AutoTokenizer, AutoConfig, AutoModelmodel_id = "Hugging Face 모델 이름" tokenizer = AutoTokenizer.from_pretrained(model_id)model = AutoModelForCausalLM.from_pretrained(model_id)config = AutoConfig.from_pretrained(model_id)주피터에서 모델 다운 혹은 다운받은 모델을 로드할 때, 가끔 다음 오류가 발생한다.  'the kernel for ~ ..

지금까지 나는 Docker를 사용해오면서, docker commit을 통해 프로젝트 이미지를 생성 및 관리해왔다. 초반에는 아무런 불편함이 없었지만, 점차 불편한점들이 체감되기 시작하면서, Dockerfile 공부를 뒤늦게 시작했다.이 포스트는 RAG (Retriever Augmented Generation) 모델 아키텍처를 위한 Docker 이미지를 만드는 과정을 처음부터 다루고 있다.0. Dockerfile 생성 Dockerfile은 아무런 확장자가 없는 파일로, 파일명을 Dockerfile로 설정해서 하나 만들어주자. 1. Dockerfile OptioncommandexplanationexampleFROM기본 이미지 지정 (Docker Hub 참고)FROM pytorch/pytorchWORKDIR작..

LLM 모델이 사용하는 메모리 계산하는 방법을 간략하게 소개하고, 추가적으로 내게 주어진 환경에서 LLM 모델을 돌릴 수 있는지 확인할 수 있는 사이트를 소개한다. Model on GPU RamLLM을 이용한 학습 / 추론 시 GPU 등의 Accelerator를 활용하게 되는데, Accelerator 내 메모리에 모델의 파라미터를 업로드한다. 하지만 7B ~ 1.76T의 모델 파라미터를 Accelerator로 구동하는 것은 현실적으로 어려운 일이며, 이에 상용 GPU (NVIDIA RTX 3080 등)을 통한 LLM 활용 방법론이 대두되었다.  Memory Usage 1. 모델 학습 모델 학습에는 Optimizer 상태를 저장하는 저장소와 디바이스 메모리에 Gradient를 저장해야 한다. 이는 모델 학..

터미널에서 git push 하면 발생하는 'unable to access ~.git: The requested URL returned error: 403' ERROR !다음과 같이 설정해주자.  git remote -v # 원격 저장소 리스트 확인# 원격 저장소 주소 재설정 git remote set-url origin https://[사용자이름]@github.com/[사용자이름]/[저장소이름].git이후 add, commit, push하면 정상적으로 push할 수 있다.

파이썬 파일에, 한글이 포함되어 있는 경우 코드 실행 시 다음과 같은 오류가 발생한다. (unicode error) 'utf-8' codec can't decode byte 0xb0 ~  오류가 발생하는 코드 맨 윗 줄에, 다음 코드를 추가해두면 해결된다. # -*- coding: cp949 -*-* 어떤 글들은 cp949 -> utf-8 로 해서 사용하던데, 이 경우 코드에 한글이 있는 경우 그대로 오류가 발생한다.

Docker 내에서, 한글을 입력할 때 가끔 한글 입력이 되지 않는 컨테이너가 있다.한글 입력이 되지 않는 현상 (docker)한글 입력이 가능하도록 해 주기 위해서는 locales 설정을 해주어야 한다. apt-get update & apt upgrade -yapt-get install locales# locale 정보 확인 locale # -a 옵션 추가 시 사용 가능한 locale 조회 가능localedef 혹은 locale-gen 명령어를 통해 한글 지원이 되는 locale을 생성하자.# 둘 중 하나 수행 후 locale -a 입력 시 ko_KR locale 확인 가능 localedef -f UTF-8 -i ko_KR ko_KR.UTF-8locale-gen ko_KR.UTF-8Docker로 ..

Detectron2는 Object Detection 등에 사용하는 라이브러리로, 나는 PDF 내 Table 및 수식을 감지하기 위해 사용해보려 했다. 사용하는 PC에 설치되어 있는 Cuda, Cudnn 버전에 맞는 Docker Image를 사용해야 한다.cuda 10.2 버전을 사용중이기에, 관련 이미지를 사용하는 Dockerfile을 만들어 기초 환경을 구축했다.  * detectron2는 현재 (2024.04.11) python 3.9 이하 버전만 지원한다고 하니, 이 점에 유의하자.  $ docker build -t detectron2:test . $ docker run -p 8890:8890 -i -t -v C:/Users/:/workspace detectron:test 기본적인 설정은 완료했고,..