AI

회의록 서비스 성능 고도화 프로젝트의 일환으로, 이전 포스트에서 설명한 화자 구분 프로세스 중 Voice Activity Detection 적용 과정을 여기에 기록한다. 사실, 해당 파트는 허깅페이스에 공개되어 있는 모델을 사용하고 있어 정리할 내용이 많이 없다. 그래서 여기서는 VAD 자체 내용 보다는, VAD를 STT 및 화자 구분에 어떻게 사용하고 있는지 소개하는 내용을 주로 다룬다. 0. VAD 모델VAD는 음성 파일에서 음성 구간이 존재하는 지점을 탐지하는 작업으로, 여러 오픈 소스 모델들이 공개되어 있다. 현재 사용중인 모델은 Hugging Face에 올라와있는 Pyannote 모델이다. Pyannote 에서 화자 구분 파이프라인을 공개해두었는데, 해당 파이프라인을 사용중이기 때문에 다른 모델..

회의록 서비스 성능 고도화 프로젝트의 일환으로, 이전 포스트에서 설명한 화자 구분 프로세스의 가장 앞단에 해당하는, 음성 파일에 대한 Front-end Processing 적용 과정을 여기에 기록한다. 가장 기본적인 주파수 범위 필터링부터, 노이즈 제거, 반향 제거들을 수행해보고, 적용 전-후 오디오 품질이 실제로 개선되었는지 시각화해본다.0. 오디오 시각화오디오 Front-end Processing 처리 전과 후 품질 변화를 비교하기 위해, 오디오 파일을 크게 세 가지 방식으로 시각화한다. 첫 번째는 Waveform(파형) 시각화로, 시간에 따른 오디오 신호의 진폭 변화를 보여준다. 아래 그림은 하나의 오디오 파일을 시간 축에 따라 시각화한 결과로, 사람이 말하는 구간에서는 진폭이 크고 변화가 많은 반..

개발중인 회의록 자동 작성 모델의 성능 개선이 필요해, 이 중 화자 구분 관련된 연구 내용을 여기에 기록한다. PoC (Proof of Concept) 과정에서는 STT (Speech To Text), Speaker Diarization 모두 자원상 한계로 인해 API를 활용해 구현하였고, 어찌저찌 통과가 되었으나, 성능이 썩 좋지는 않아 전체적인 고도화를 진행하게 되었다. 이 포스팅에서는 화자 구분의 기본 프로세스에 대한 개념과 구현 방안을 정리하고, 각 단계별 고도화 결과에 대한 비교 분석은 지면상 다른 포스팅에서 다룬다.Section # 01. Speaker Diarization 이란 ?주어진 음성 파일에서, 화자별 발언 시간을 계산하는 작업으로, 전통적인 화자 구분은 다음 그림과 같이 동작한다. ..

이미지가 전달하는 감각적인 요소를 글로 풀어낼 수 있다면, 보는 이에게 더 깊은 경험을 제공할 수 있다. 단순히 "사람들이 축제에서 춤을 춘다" 가 아닌, "거리 한복판, 강렬한 조명이 번쩍인다. 북소리에 맞춰 사람들이 발을 구르고, 웃음소리가 공기를 가득 채운다. 누군가는 리듬을 타며 손을 흔들고, 또 누군가는 박수를 치며 환호한다" 와 같이 장면을 글로 풀어내면 단순히 이미지를 보는 것을 넘어, 현장에 있는 듯한 느낌을 받을 수 있다. 해당 포스트에서는 이미지가 담고 있는 내용을 글로 풀어내기 위해 사용해본 모델들과, 결과물 및 성능 개선을 위한 프롬프트 적용 과정을 소개한다.Ollama Models이미지의 내용을 텍스트로 변환하기 위해서는 이미지를 입력으로 받고, 텍스트를 반환하는 모델이 필요하다...

Ollama를 활용해 토이프로젝트를 진행하게 되어, Ollama의 개념, 설치 방법 및 개발중인 도커 컨테이너와 Ollama를 연동하는 방법을 기록해본다.Chap # 01. Ollama란 ?로컬 환경에서 대형 언어 모델(LLM)을 실행할 수 있도록 설계된 오픈소스 프로젝트로, 인터넷 연결 없이도 다양한 모델을 활용할 수 있디. Ollama는 GPU 가속을 지원하여 빠른 추론이 가능하며, 기존의 클라우드 기반 AI 서비스와 달리 데이터를 로컬에서 처리 가능하다(보안 강화). 로컬 실행: 클라우드에 의존하지 않고 로컬에서 LLM 실행 가능경량화된 모델 제공: 기존 대형 모델을 최적화하여 경량화된 버전 사용 가능GPU 가속 지원: NVIDIA GPU를 활용하여 성능을 극대화Docker 연동 가능: 컨테이너 환..

LLM이 급격히 떠오르는 요즘, 프로젝트에서 활용하기 위해서는 보유하고 있는 GPU에 맞는 LLM 모델을 잘 선정하는 것이 중요하다. 여기서는 LLM 모델이 잡아먹는 메모리를 계산하는 방법을 간략하게 소개하고, 추가적으로 LLM 모델을 돌리기 위해 필요한 사양을 알려주는 사이트를 소개한다.들어가기에 앞서메모리 사용량 계산을 위해서는 LLM 모델 학습 시 소요되는 자원과, 추론 시 소요되는 자원에 대한 이해가 필요하다.모델 학습 시 고려해야 하는 사항은 다음과 같다.Weights (Model Parameters)OptimizerGradientActivations & Overhead 모델 추론 시 고려해야 하는 사항은 다음과 같다.Weights (Model Parameters)Total KV Cache Me..

지난 시간에 만든 NER 모델의 경우, 학습 과정에서의 성능 평가 결과는 좋았으나, 실 사용 결과, 좋지 못한 성능을보였다. 해당 모델을 개선하기 위해, 데이터세트 구축부터 다시 시작해보려 한다. Step 1. 기존 데이터세트 문제점 분석 발견한 문제점 첫번째. 학습 데이터세트의 불균형기존 데이터세트의 경우 증권 종목이 포함되어 있는 텍스트로만 구성되어 있었다. 정확히는, 구축해둔 증권 종목 사전을 GPT에 전달 후, 각 종목들을 포함하고 있는 텍스트 쌍을 생성하도록 시켰다. 이 경우, 증권 종목이 포함되어 있지 않은 데이터와 여러 증권 종목이 들어간 텍스트는 얻을 수 없게 된다.이를 개선하기 위해, 인공지능 챗봇과 사용자의 대화 로그를 학습 데이터세트 구축에 활용하였다.  발견한 문제점 두번째. 증권 ..

사용자 쿼리에 대해, 증권 종목 관련 질문인지 아닌지 1차적으로 분류하고, 증권 종목 관련 쿼리인 경우 어떤 증권 종목인지를 추출하는 업무를 진행하게 되었다. 증권 종목을 인식하기 위해서는 NER 모델을 사용해야겠다고 판단했고, 이 중 Spacy 모델을 사용하여 엔티티 추출하는 과정을 정리해두려 한다.Step 1. 학습 데이터 생성증권 종목 학습 데이터를 만들기 위해서, 증권사 어플을 사용하여 대화한 로그 파일을 사용했다.해당 파일은 다음과 같이 구성되어 있다. 대화날짜Q/A텍스트User_id    이 중, 텍스트에 증권 종목이 포함된 경우, 해당 부분을 STOCK으로 레이블링 진행했다. * 다음 포스트에서 살펴보겠지만, 위와 같은 패턴으로만 구성한 데이터세트의 경우, 생각보다성능이 좋지 않게 나온다. ..

.py 파일을 통해 분류를 수행하는데, 인코더 모델의 경우 매번 .py 파일을 실행할 때마다 메모리에 로드되었고, 이로 인해 결과값을 받아보는데 생각보다 시간이 소요되었다. 이를 해결하기 위해 다음과 같은 방법들을 고려할 수 있는데, 여기서는 이 중 FastAPI를 이용해 예측을 수행하는 과정에 대해 다뤄보고자 한다. 1. Hugging Face 캐싱 확인2. 모델 캐시 파일 재사용3. 웹 프레임워크(Flask, FastAPI)를 사용해 모델을 서버 형태로 배포-  서버 형태로 배포할 경우 예측 요청이 들어올 때마다 이미 로드된 모델로 예측을 수행하게 할 수 있다.더보기Method 1. classifier = pipeline("sentiment-analysis", model="microsoft/deber..

curl -sfL https://raw.githubusercontent.com/milvus-io/milvus/master/scripts/standalone_embed.sh -o standalone_embed.shbash standalone_embed.sh startMilvus가 실행되었다.Window 환경에서 설정하는 경우, ubuntu 기반 환경 명령어인 bash 명령어가 잘 먹지 않을 수 있다.이런 경우 yml 파일을 다운받아 직접 compose 해서 도커 이미지 파일을 설치하면 된다.wget https://github.com/milvus-io/milvus/releases/download/v2.4.6/milvus-standalone-docker-compose.yml -O docker-compose.y..