AI

AI 모델들 중 태스크별로 어떤 모델의 성능이 좋은지 한 눈에 볼 수 있는 사이트들을 소개한다. 1. Aideraider.chat에서 사용하는 코딩 어시스턴트 모델들의 벤치마크주로 code editing, refactoring, bug fixing 등 실제 Git 코드베이스에 대한 조작 테스트를 다룸 평가 기준은 PR 자동 생성, 코드 이해력, 편집 능력 등이 있음 https://aider.chat/docs/leaderboards * 실제 사용 환경 (Git 기반 코드 편집)에 가까운 테스트 환경이지만, 일반적인 알고리즘 문제 해결 능력과는 다소 거리가 있고, 범용적이기 보다는 aider.chat의 사용 사례 위주이다. 2. LiveBench자동화된 실시간 벤치마크 플랫폼다양한 코드 문제 (Python..

요즘 AI 서비스를 개발하다 보면 다양한 모델들을 사용하는 일이 많다. 문제는 이 모델들이 각자 제공하는 인터페이스나 입출력 형식이 다르다 보니, 사용자 툴이나 프론트엔드에서 직접 다루기 어렵다는 점인데, 이런 문제를 해결하기 위해 등장한 것이 바로 MCP (Model Context Protocol)이다.1. MCP 란 ?MCP는 Model Context Protocol의 약자로, 다양한 기업에서 개발한 인공지능 모델과 사용자 인터페이스(툴) 사이의 표준 규격을 정의한 프로토콜이다. 즉, AI 모델이 사용자와 어떻게 상호작용할지에 대해 정의한 약속이라 볼 수 있으며, 다음과 같은 목적을 가진다. 호환성 향상: 하나의 인터페이스에서 여러 AI 모델을 쉽게 붙일 수 있음상황(context) 공유: 모델이 사..

회의록 서비스 성능 고도화 프로젝트의 일환으로, 이전 포스트에서 설명한 화자 구분 프로세스 중 Post Processing 과정을 여기에 기록한다. Post Processing은 화자 구분 결과값을 후처리하는 역할을 수행하며, 오디오 파일에서의 잡음 필터링, 화자별 순수 발화 추출, 화자 재레이블링, 청크별 화자 대표 임베딩 계산 및 전체 병합하는 부분을 다룬다. 1. 잡음 필터링화자 구분 모델을 적용해보면, 발화 시간이 매우 짧은 구간조차도 특정 화자로 분류되는 경우를 자주 확인할 수 있다. 해당 구간의 오디오를 실제로 들어보면, 대부분은 단순한 추임새나 잡음에 가까운 경우가 많으며, 이러한 발화는 전체 대화 흐름에서 중요한 정보로 작용하지 않는 경우가 대부분이다. 또한 발화 길이가 짧을수록, 화자 구..

회의록 서비스 성능 고도화 프로젝트의 일환으로, 이전 포스트에서 설명한 화자 구분 프로세스 중 Speaker Embedding 적용 과정을 여기에 기록한다. 프로젝트를 진행하며 2가지 임베딩 모델(Wespeaker, Speechbrain)을 사용해 보았으며, 여기서는 두 모델 간 차이점을 비교 분석하고, 임베딩 모델을 화자 구분 파이프라인에 어떻게 적용하는지 설명한다.0. Speaker Embedding 모델프로젝트를 진행하며 2가지 Speaker Embedding 모델을 사용해보았다. 첫 번째 모델은 화자 구분 파이프라인에서 주축을 이루는 Pyannote에서 사용하는 임베딩 모델로, 'Wespeaker/wespeaker-voxceleb-resnet34-LM'이다. ResNet34-LM 모델은 r-vec..

회의록 서비스 성능 고도화 프로젝트의 일환으로, 이전 포스트에서 설명한 화자 구분 프로세스 중 Voice Activity Detection 적용 과정을 여기에 기록한다. 사실, 해당 파트는 허깅페이스에 공개되어 있는 모델을 사용하고 있어 정리할 내용이 많이 없다. 그래서 여기서는 VAD 자체 내용 보다는, VAD를 STT 및 화자 구분에 어떻게 사용하고 있는지 소개하는 내용을 주로 다룬다. 0. VAD 모델VAD는 음성 파일에서 음성 구간이 존재하는 지점을 탐지하는 작업으로, 여러 오픈 소스 모델들이 공개되어 있다. 현재 사용중인 모델은 Hugging Face에 올라와있는 Pyannote 모델이다. Pyannote 에서 화자 구분 파이프라인을 공개해두었는데, 해당 파이프라인을 사용중이기 때문에 다른 모델..

회의록 서비스 성능 고도화 프로젝트의 일환으로, 이전 포스트에서 설명한 화자 구분 프로세스의 가장 앞단에 해당하는, 음성 파일에 대한 Front-end Processing 적용 과정을 여기에 기록한다. 가장 기본적인 주파수 범위 필터링부터, 노이즈 제거, 반향 제거들을 수행해보고, 적용 전-후 오디오 품질이 실제로 개선되었는지 시각화해본다.0. 오디오 시각화오디오 Front-end Processing 처리 전과 후 품질 변화를 비교하기 위해, 오디오 파일을 크게 세 가지 방식으로 시각화한다. 첫 번째는 Waveform(파형) 시각화로, 시간에 따른 오디오 신호의 진폭 변화를 보여준다. 아래 그림은 하나의 오디오 파일을 시간 축에 따라 시각화한 결과로, 사람이 말하는 구간에서는 진폭이 크고 변화가 많은 반..

개발중인 회의록 자동 작성 모델의 성능 개선이 필요해, 이 중 화자 구분 관련된 연구 내용을 여기에 기록한다. PoC (Proof of Concept) 과정에서는 STT (Speech To Text), Speaker Diarization 모두 자원상 한계로 인해 API를 활용해 구현하였고, 어찌저찌 통과가 되었으나, 성능이 썩 좋지는 않아 전체적인 고도화를 진행하게 되었다. 이 포스팅에서는 화자 구분의 기본 프로세스에 대한 개념과 구현 방안을 정리하고, 각 단계별 고도화 결과에 대한 비교 분석은 지면상 다른 포스팅에서 다룬다.Section # 01. Speaker Diarization 이란 ?주어진 음성 파일에서, 화자별 발언 시간을 계산하는 작업으로, 전통적인 화자 구분은 다음 그림과 같이 동작한다. ..

이미지가 전달하는 감각적인 요소를 글로 풀어낼 수 있다면, 보는 이에게 더 깊은 경험을 제공할 수 있다. 단순히 "사람들이 축제에서 춤을 춘다" 가 아닌, "거리 한복판, 강렬한 조명이 번쩍인다. 북소리에 맞춰 사람들이 발을 구르고, 웃음소리가 공기를 가득 채운다. 누군가는 리듬을 타며 손을 흔들고, 또 누군가는 박수를 치며 환호한다" 와 같이 장면을 글로 풀어내면 단순히 이미지를 보는 것을 넘어, 현장에 있는 듯한 느낌을 받을 수 있다. 해당 포스트에서는 이미지가 담고 있는 내용을 글로 풀어내기 위해 사용해본 모델들과, 결과물 및 성능 개선을 위한 프롬프트 적용 과정을 소개한다.Ollama Models이미지의 내용을 텍스트로 변환하기 위해서는 이미지를 입력으로 받고, 텍스트를 반환하는 모델이 필요하다...

Ollama를 활용해 토이프로젝트를 진행하게 되어, Ollama의 개념, 설치 방법 및 개발중인 도커 컨테이너와 Ollama를 연동하는 방법을 기록해본다.Chap # 01. Ollama란 ?로컬 환경에서 대형 언어 모델(LLM)을 실행할 수 있도록 설계된 오픈소스 프로젝트로, 인터넷 연결 없이도 다양한 모델을 활용할 수 있디. Ollama는 GPU 가속을 지원하여 빠른 추론이 가능하며, 기존의 클라우드 기반 AI 서비스와 달리 데이터를 로컬에서 처리 가능하다(보안 강화). 로컬 실행: 클라우드에 의존하지 않고 로컬에서 LLM 실행 가능경량화된 모델 제공: 기존 대형 모델을 최적화하여 경량화된 버전 사용 가능GPU 가속 지원: NVIDIA GPU를 활용하여 성능을 극대화Docker 연동 가능: 컨테이너 환..

LLM이 급격히 떠오르는 요즘, 프로젝트에서 활용하기 위해서는 보유하고 있는 GPU에 맞는 LLM 모델을 잘 선정하는 것이 중요하다. 여기서는 LLM 모델이 잡아먹는 메모리를 계산하는 방법을 간략하게 소개하고, 추가적으로 LLM 모델을 돌리기 위해 필요한 사양을 알려주는 사이트를 소개한다.들어가기에 앞서메모리 사용량 계산을 위해서는 LLM 모델 학습 시 소요되는 자원과, 추론 시 소요되는 자원에 대한 이해가 필요하다.모델 학습 시 고려해야 하는 사항은 다음과 같다.Weights (Model Parameters)OptimizerGradientActivations & Overhead 모델 추론 시 고려해야 하는 사항은 다음과 같다.Weights (Model Parameters)Total KV Cache Me..