전체 글

요즘 갑자기 등장한, DeepSeek라는 모델. 오픈소스 모델이면서 ChatGTP4-o의 성능을 뛰어넘고, 모델 학습에 들어간 비용은 훨씬 저렴하다는 주장과 함께 뜨거운 감자로 부상하고 있다. 플레이스토어 및 앱 스토어에서도 사용 가능하고, 실제 써 본 사람 말에 의하면 괜찮다고 한다.. (2월 6일 현재 ChatGPT를 표절하고 있다는 이야기가 떠돌고 있지만..) 어떻게 저렴한 비용으로 ChatGPT4-o와 비슷한, 혹은 더 뛰어난 성능을 보일 수 있는지 궁금해져 해당 논문 'DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning'을 살펴보고, 간단하게 정리해보려 한다.Abstract해당 논문은 DeepSeek..

2025년 새해를 맞이해 몇달 정도 쉬던 운동을 새로이 등록했다. 새로운 헬스장(휘트니스엠)을 등록했는데, 기존 헬스장에 비해 시설도 괜찮고 운동할 맛 나는거 같다. 2월 첫째 주, 양쪽에 15kg 15회 1 set, 20kg 10회 5회 1 set, 25kg 10회 1 set 하던 중 잔기침과 동시에 기구에 깔려버렸다.. 팔을 내리면서 기침을 하는 순간 힘이 쫙 빠짐과 동시에 단 1mm조차도 못 들어올리겠더라. 가슴을 짓누르던 봉을 젖먹던 힘을 다해 10cm 정도 들어올려서 배가 숨쉴 수 있는 공간만 만들어준뒤, 안감힘을 쓰며 굼벵이가 기어가듯이 의자를 꾸물꾸물 빠져나왔다. 갈비뼈랑 배랑 다 쓸리니 아프더라. 당분간 너무 무리하지말고 15 kg 15회 2set, 20kg 10, 5회 2set씩 들어올릴..

새해가 밝았다. 2025년 처음으로 읽어볼 논문은 'HALOGEN : Fantastic LLM Hallucinationsand Where to Find Them'이다. 해당 논문은 2025년 1월 14일, arxiv에 개제된 논문으로, LLM 모델의 환각 현상에 대해 다루고 있다. 여기서는 해당 논문의 Introduction, Dataset, Evaluation Metrics, Result, Limitation 및 Conclusion 파트를 간단하게 정리해본다. Abstract"환각(Hallucination)"이란 생성된 텍스트가 세계 지식이나 입력된 맥락과 일치하지 않는 잘못된 사실을 포함하는 현상을 말한다. 해당 논문의 저자들은 환각 현상을 측정하고 해결하기 위해 다음과 같은 기여를 한다.  1. H..

서비스 중인 DB에서 작업하다 실수로, 건드리면 안 될 데이터를 건드릴 수 있다. 이를 대비하기 위해, 주기적으로 DB 내용을 백업해두는 것이 중요하다. Pg_dump를 이용한 백업PostgreSQL 서버가 실행 중일 때 직접 복사하는 것보다는 pg_dump 같은 백업 도구를 사용하는 것이 더 안전하다.pg_dump -h [원격 서버 ip] -U [user name] -d [db name] > [local/backup/your_db_backup.sql]or pg_dump -U [user name] -h localhost -p 5432 -F c -d [db name] -f [backup_filename.dump]백업 파일은 다음과 같이 복원할 수 있다.psql -U [user name] -d postgre..

Log 파일에 정보를 기록하다, 관련 파일에 변경을 가했을 때 이후 Logging 작업이 원활하지 않은 경우가 종종 있다. 보통 logger는 다음과 같이 생성한다. import logging logger = logging.getLogger('code_logger')logger.setLevel(logging.INFO)file_handler = logging.FileHandler('code-result.log')formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')file_handler.setFormatter(formatter)logger.addHandler(file_handler)logger를 이용해, 다음..

회사 다니면서, 실제 서비스를 제공하기 위해 NLP 이외의 분야들에 대한 공부도 많이 필요하다는 것을 느끼고 있다.여기서는 요즘 가장 많이 듣고 있는 WAS, NAS, ~aaS에 대한 간단한 내용을 정리해보려 한다.WAS, Web Application Server 란 ?HTTP 프로토콜을 통해 Client의 요청을 받고, 정적인 서비스를 제공하는 서버를 Web Server라 부른다. Web Server에서는 정적인 컨텐츠 밎 자원 제공, 동적인 컨텐츠 제공을 위한 요청 전달을 하며, 대표적으로 Apache Server, Nginx, IIS가 있다. 이에 더 나아가, 다양한 로직 처리를 요구하는 동적인 서비스를 제공하는 서버를 Web Application Server라 한다. HTTP를 통해 컴퓨터나 장치..

LLM이 급격히 떠오르는 요즘, 프로젝트에서 활용하기 위해서는 보유하고 있는 GPU에 맞는 LLM 모델을 잘 선정하는 것이 중요하다. 여기서는 LLM 모델이 잡아먹는 메모리를 계산하는 방법을 간략하게 소개하고, 추가적으로 LLM 모델을 돌리기 위해 필요한 사양을 알려주는 사이트를 소개한다.들어가기에 앞서메모리 사용량 계산을 위해서는 LLM 모델 학습 시 소요되는 자원과, 추론 시 소요되는 자원에 대한 이해가 필요하다.모델 학습 시 고려해야 하는 사항은 다음과 같다.Weights (Model Parameters)OptimizerGradientActivations & Overhead 모델 추론 시 고려해야 하는 사항은 다음과 같다.Weights (Model Parameters)Total KV Cache Me..

회의록을 자동으로 작성해주는 프로젝트를 진행하는 과정에서, 음성 녹음 어플이 필요해 만들어보았다.음성 녹음 프로그램은 음성 녹음, 음소거, 녹음 중지 기능을 가지고 있고, 각각에 대해 짤막하게 다뤄본다. 디자인음성 녹음, 음소거, 녹음 중지 기능은 버튼을 만들어 각 버튼이 눌릴 때마다 호출되도록 설정했다. 음성 녹음녹음 버튼을 클릭하면 녹음이 진행중인지 우선 확인하고, 이후 기기에서 녹음 권한을 허용했는지 확인한다.두 과정에서 문제가 없다면, 음성 녹음 객체(AudioRecord)와 녹음 품질 개선을 위한 NoiseSuppressor를 생성한다. 이후 음성 녹음을 진행하며, 녹음데이터는 쓰레드를 활용해 하이브리드 방식으로 메모리 및 기기에 저장된다. * 하이브리드 방식이란 ?녹음 데이터를 메모리 버퍼 상..

가끔가다 도커 엔진이 Starting .. 에서 멈출 때가 있다. 보통 시스템을 다시 시작하거나 설정을 잘못 건드린경우 발생하는데, 터미널창에 다음과 같이 입력하면 된다.wsl --terminate docker-desktopwsl --terminate docker-desktop-data이후 도커 엔진을 다시 실행해보면 정상적으로 실행될 것이다.

안드로이드 어플리케이션을 개발할 일이 생겨, Kotlin을 사용해보기로 했다. 우선 jdk 파일을 설치해주자. brew install openjdksudo ln -sfn $(brew --prefix openjdk)/libexec/openjdk.jdk /Library/Java/JavaVirtualMachines/openjdk.jdk설치가 제대로 된 지 확인하려면, 다음과 같이 자바 버전을 출력해보면 된다.java --version다음으로는 kotlin을 설치해주어야 한다.brew install kotlinkotlinc -version사용을 위한 준비는 모두 끝났다.VSCode를 사용하는 경우, 다음과 같이 VSCode Extensions에서 추가 패키지들을 설치해주어야 한다.Code RunnerKotlin..