IT Story

요즘 갑자기 등장한, DeepSeek라는 모델. 오픈소스 모델이면서 ChatGTP4-o의 성능을 뛰어넘고, 모델 학습에 들어간 비용은 훨씬 저렴하다는 주장과 함께 뜨거운 감자로 부상하고 있다. 플레이스토어 및 앱 스토어에서도 사용 가능하고, 실제 써 본 사람 말에 의하면 괜찮다고 한다.. (2월 6일 현재 ChatGPT를 표절하고 있다는 이야기가 떠돌고 있지만..) 어떻게 저렴한 비용으로 ChatGPT4-o와 비슷한, 혹은 더 뛰어난 성능을 보일 수 있는지 궁금해져 해당 논문 'DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning'을 살펴보고, 간단하게 정리해보려 한다.Abstract해당 논문은 DeepSeek..

새해가 밝았다. 2025년 처음으로 읽어볼 논문은 'HALOGEN : Fantastic LLM Hallucinationsand Where to Find Them'이다. 해당 논문은 2025년 1월 14일, arxiv에 개제된 논문으로, LLM 모델의 환각 현상에 대해 다루고 있다. 여기서는 해당 논문의 Introduction, Dataset, Evaluation Metrics, Result, Limitation 및 Conclusion 파트를 간단하게 정리해본다. Abstract"환각(Hallucination)"이란 생성된 텍스트가 세계 지식이나 입력된 맥락과 일치하지 않는 잘못된 사실을 포함하는 현상을 말한다. 해당 논문의 저자들은 환각 현상을 측정하고 해결하기 위해 다음과 같은 기여를 한다.  1. H..

회사에서 하고 있는 업무는 LLM을 활용하여 사내 내부 규정집에 대한 질의응답을 하는 챗봇을 개발하는 것이다. 규정집에 대한 질의응답이 잘 되는 것을 확인하면, 스크래핑 데이터 및 외부 회사 문서들로 확장해나가려 한다. 챗봇 개발에 적용중인 알고리즘은 RAG (Retrieval-Augmented Generation)이며, 해당 알고리즘을 순차적으로 발전시켜나가는 중이다. LLM (Large Language Model)의 한계ChatGPT를 비롯한 여러 LLM 모델들은 자신이 학습한 데이터에 대한 질문은 답을 나쁘지 않게 한다.하지만 자신이 학습하지 않은 내용을 질문하는 경우, 거짓 정보를 진실된 정보인 것처럼 알려준다 (할루시네이션)거짓 정보를 발설하는 현상을 개선하기 위해, RAG (Retrieval ..

현재 우리 부서에서는 여러 LLM 모델을 사용하기 위해 Docker 환경에서 작업을 하고 있다. 여기서는 회사에서 사용하고 있는 도커 환경 구축 과정에 대해 다룬다.사용 모델현재 사용하고 있는 모델은 davidkim205/komt-mistral-7b-v1 모델이다. 테스트 용도로 사용중인 모델이라 올해 초 HuggingFace에 올라와있던 한국어를 지원하는 LLM 모델 중 하나를 골라 사용중이다. 다른 어느 모델을 사용해도 상관없지만, HuggingFace에서 모델을 골라 사용할 때 모델명에 'ko'가 포함되어 있는지를 꼭 확인하자. 모델명에 ko가 포함되지 않은 경우, 한국어를 잘하지 못할 확률이 크다.Docker Setting파이썬에서 AI 모델을 돌리기 위해 지원하는 패키지가 크게 2가지가 있다. ..

인공지능 서버를 세팅하는 방법은 OS에 따라 살짝 다르다. Ubuntu와 Window에서 각각 세팅을 진행했었는데, 먼저 현재 회사에서 사용중인 윈도우에 서버 설정하는 방법부터 소개하고, 이후 Ubuntu에서 세팅하는 방법을 다룬다. Window Server SettingStep 1. Install Graphic Driver Window 환경에 맞는 Graphic Driver를 설치한다. Step 2. Install Cuda Cuda homepage에서 Cuda를 설치할 수 있다. nvidia-smi를 통해 조회되는 CUDA Version을 설치해준다.2.1 Base InstallerBase Installer 설치 및 실행. Cuda 위치는 다음과 같다. * 설치 후, 해당 디렉토리에 가서 숨긴 파일 조..