LLM

LLM이 급격히 떠오르는 요즘, 프로젝트에서 활용하기 위해서는 보유하고 있는 GPU에 맞는 LLM 모델을 잘 선정하는 것이 중요하다. 여기서는 LLM 모델이 잡아먹는 메모리를 계산하는 방법을 간략하게 소개하고, 추가적으로 LLM 모델을 돌리기 위해 필요한 사양을 알려주는 사이트를 소개한다.들어가기에 앞서메모리 사용량 계산을 위해서는 LLM 모델 학습 시 소요되는 자원과, 추론 시 소요되는 자원에 대한 이해가 필요하다.모델 학습 시 고려해야 하는 사항은 다음과 같다.Weights (Model Parameters)OptimizerGradientActivations & Overhead 모델 추론 시 고려해야 하는 사항은 다음과 같다.Weights (Model Parameters)Total KV Cache Me..

해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 여섯번째 내용을 정리하며, 쿼리 재작성과 관련된 여러 기법에 대해 다루고 있다.검색 증강 생성(RAG)에서는 부정확한 표현이나 의미 정보의 부족과 같은 종종 사용자의 원래 쿼리와 관련된 문제에 직면한다. 예를 들어, "2020년 NBA 챔피언은 로스앤젤레스 레이커스입니다! langchain 프레임워크가 무엇인지 알려주세요"라는 쿼리는 직접 검색하면 LLM에서 부정확하거나 답변할 수 없는 응답을 생성할 수 있다. 사용자 쿼리의 의미 공간을 문서의 의미 공간과 일치시키는 것이 중요하며, 쿼리 재작성 기술은 이 문제를 효과적으로 해결할 수 있다.쿼리 재작성은 쿼리와 문서의 의미를 일치시키기 위한 핵심 기술로..

해당 포스트는 Medium 'Florian June'이 작성한 Advanced RAG 포스트 시리즈 그 세번째 내용을 정리하며, RAG 파이프라인 평가를 위한 프레임워크인 RAGAs(Retrieval Augmented Generation Assessment)가 제안한 RAG 평가 지표에 대해 다루고 있다.비즈니스 시스템을 위한 Retrieval Augmented Generation(RAG) 애플리케이션을 개발했다면, 시스템이 얼마나 잘 작동하는지 평가해야 한다. 기존 RAG가 충분히 효과적이지 않다고 판단되면, 고급 RAG 개선 방법의 효과를 검증할 필요가 있을 수 있다. Metrics of RAG evaluationRAG는 입력 쿼리, 검색된 문맥, 그리고 LLM에 의해 생성된 응답이라는 세 가지 주요..

Hugging Face에서 LLM 모델 다운  아래 명령어를 통해 LLM 모델을 로컬 컴퓨터로 다운 받을 수 있다. from transformers import AutoModelForCausalLM, AutoTokenizer, AutoConfig, AutoModelmodel_id = "Hugging Face 모델 이름" tokenizer = AutoTokenizer.from_pretrained(model_id)model = AutoModelForCausalLM.from_pretrained(model_id)config = AutoConfig.from_pretrained(model_id)주피터에서 모델 다운 혹은 다운받은 모델을 로드할 때, 가끔 다음 오류가 발생한다.  'the kernel for ~ ..