AI

LLMOps 살펴보기는 "LLMOps: Managing Large Language Models in Production" 라는 서적을 읽고 관련 내용을 풀어쓴 시리즈이다. A2A(Agent-to-Agent Protocol)언어 모델이 하나의 에이전트로 동작하며 툴과 메모리, 외부 로직을 연결하는 시대를 연 게 바로 이전 포스트에서 다룬 MCP(Model Context Protocol)다. 하지만 세상은 그렇게 단순하지 않은데, 어떤 에이전트는 회의 일정을 잡고, 또 다른 에이전트는 이메일 요약을 만들고, 다른 하나는 항공편 정보를 조회한다. 이제는 이들이 함께 대화하고 협력해야 하는 시대가 왔다고 할 수 있다. 각 에이전트마다 제각각의 대화 방식, 핸드셰이크, 데이터 포맷을 쓰면, brittle(깨지기 ..

LLMOps 살펴보기는 "LLMOps: Managing Large Language Models in Production" 라는 서적을 읽고 관련 내용을 풀어쓴 시리즈이다.LLM-Based Applications API를 통해 모델을 직접 사용하는 것과 웹 애플리케이션(예: chatgpt.com)에서 사용하는 것 사이에는 응답 차이가 생긴다. 예를 들어, ChatGPT 웹에서 질문하면 API에서 같은 질문을 했을 때와는 다른 답을 받을 수 있다. ChatGPT 웹은 이전 대화 데이터를 활용하고, 사용자 프롬프트에 추가 지침을 덧붙인다. 예를 들어, 현재 ChatGPT 웹은 보통 답변 끝에 “더 알아보고 싶으신가요?” 같은 문장을 붙여 대화를 이어가도록 유도한다. 반면 API로 모델을 직접 호출하면 이런 문..

LLMOps 살펴보기는 "LLMOps: Managing Large Language Models in Production" 라는 서적을 읽고 관련 내용을 풀어쓴 시리즈이다.LLMOps란 ?1. LLMOps 소개LLM(Large Language Models, 대규모 언어 모델)을 실제 서비스에서 안정적으로 운영하기 위한 새로운 운영 프레임워크. 기존의 MLOps나 DevOps로는 LLM 특유의 문제(예: 환각, 개인정보 유출, 프롬프트 관리, 사용자 상호작용 모니터링)를 해결하기 어렵다. 이에 LLM 특화된 운영 원칙과 도구가 필요해졌고, 그게 바로 LLMOps이다. LLMOps는 다음과 같은 일을 한다. - 저장·관리·동적으로 적응시키기 - 사용자 입력/출력 모니터링 및 피드백 반영 - 잘못된 정보..

화자 구분 고도화 관련 내용을 지난 포스트에서 다루었으며, 이후 화자 구분을 실질적으로 적용해보며 겪고 있는 문제점들을 여기서 다뤄본다. API를 이용한 화자 구분 보다는 성능이 많이 좋아지긴 했지만, 여전히 개선해야 할 부분들이 여럿 있다. 그러면 바로 시작해보자 0. 실제 API 보다 성능이 좋아졌는가 ?화자 구분 고도화 파이프라인은 다음과 같으며, 각 단계별로 개선할 수 있어 보이는 부분들을 고도화하여 로컬에서 사용 가능한 화자 구분 모델을 구축했다(Segmentation, Embedding 모델은 Pyannote과 Wespeak 모델 사용, 이전 포스트들에서 소개함).* 아직 청크별 화자 연결이 남아 있고, 이 과정을 진행하면서 발견한 문제점이라, 이 부분은 아래에서 추가적으로 다룬다. 잡음이 ..

LLM 모델들 중 태스크별로 어떤 모델의 성능이 좋은지 한 눈에 볼 수 있는 사이트들을 소개한다. 1. Aideraider.chat에서 사용하는 코딩 어시스턴트 모델들의 벤치마크주로 code editing, refactoring, bug fixing 등 실제 Git 코드베이스에 대한 조작 테스트를 다룸 평가 기준은 PR 자동 생성, 코드 이해력, 편집 능력 등이 있음 https://aider.chat/docs/leaderboards * 실제 사용 환경 (Git 기반 코드 편집)에 가까운 테스트 환경이지만, 일반적인 알고리즘 문제 해결 능력과는 다소 거리가 있고, 범용적이기 보다는 aider.chat의 사용 사례 위주이다. 2. LiveBench자동화된 실시간 벤치마크 플랫폼다양한 코드 문제 (Pytho..

요즘 AI 서비스를 개발하다 보면 다양한 모델들을 사용하는 일이 많다. 문제는 이 모델들이 각자 제공하는 인터페이스나 입출력 형식이 다르다 보니, 사용자 툴이나 프론트엔드에서 직접 다루기 어렵다는 점인데, 이런 문제를 해결하기 위해 등장한 것이 바로 MCP (Model Context Protocol)이다.1. MCP 란 ?MCP는 Model Context Protocol의 약자로, 다양한 기업에서 개발한 인공지능 모델과 사용자 인터페이스(툴) 사이의 표준 규격을 정의한 프로토콜이다. 즉, AI 모델이 사용자와 어떻게 상호작용할지에 대해 정의한 약속이라 볼 수 있으며, 다음과 같은 목적을 가진다. 호환성 향상: 하나의 인터페이스에서 여러 AI 모델을 쉽게 붙일 수 있음상황(context) 공유: 모델이 사..

회의록 서비스 성능 고도화 프로젝트의 일환으로, 이전 포스트에서 설명한 화자 구분 프로세스 중 Post Processing 과정을 여기에 기록한다. Post Processing은 화자 구분 결과값을 후처리하는 역할을 수행하며, 오디오 파일에서의 잡음 필터링, 화자별 순수 발화 추출, 화자 재레이블링, 청크별 화자 대표 임베딩 계산 및 전체 병합하는 부분을 다룬다. 1. 잡음 필터링화자 구분 모델을 적용해보면, 발화 시간이 매우 짧은 구간조차도 특정 화자로 분류되는 경우를 자주 확인할 수 있다. 해당 구간의 오디오를 실제로 들어보면, 대부분은 단순한 추임새나 잡음에 가까운 경우가 많으며, 이러한 발화는 전체 대화 흐름에서 중요한 정보로 작용하지 않는 경우가 대부분이다. 또한 발화 길이가 짧을수록, 화자 구..

회의록 서비스 성능 고도화 프로젝트의 일환으로, 이전 포스트에서 설명한 화자 구분 프로세스 중 Speaker Embedding 적용 과정을 여기에 기록한다. 프로젝트를 진행하며 2가지 임베딩 모델(Wespeaker, Speechbrain)을 사용해 보았으며, 여기서는 두 모델 간 차이점을 비교 분석하고, 임베딩 모델을 화자 구분 파이프라인에 어떻게 적용하는지 설명한다.0. Speaker Embedding 모델프로젝트를 진행하며 2가지 Speaker Embedding 모델을 사용해보았다. 첫 번째 모델은 화자 구분 파이프라인에서 주축을 이루는 Pyannote에서 사용하는 임베딩 모델로, 'Wespeaker/wespeaker-voxceleb-resnet34-LM'이다. ResNet34-LM 모델은 r-vec..

회의록 서비스 성능 고도화 프로젝트의 일환으로, 이전 포스트에서 설명한 화자 구분 프로세스 중 Voice Activity Detection 적용 과정을 여기에 기록한다. 사실, 해당 파트는 허깅페이스에 공개되어 있는 모델을 사용하고 있어 정리할 내용이 많이 없다. 그래서 여기서는 VAD 자체 내용 보다는, VAD를 STT 및 화자 구분에 어떻게 사용하고 있는지 소개하는 내용을 주로 다룬다. 0. VAD 모델VAD는 음성 파일에서 음성 구간이 존재하는 지점을 탐지하는 작업으로, 여러 오픈 소스 모델들이 공개되어 있다. 현재 사용중인 모델은 Hugging Face에 올라와있는 Pyannote 모델이다. Pyannote 에서 화자 구분 파이프라인을 공개해두었는데, 해당 파이프라인을 사용중이기 때문에 다른 모델..

회의록 서비스 성능 고도화 프로젝트의 일환으로, 이전 포스트에서 설명한 화자 구분 프로세스의 가장 앞단에 해당하는, 음성 파일에 대한 Front-end Processing 적용 과정을 여기에 기록한다. 가장 기본적인 주파수 범위 필터링부터, 노이즈 제거, 반향 제거들을 수행해보고, 적용 전-후 오디오 품질이 실제로 개선되었는지 시각화해본다.0. 오디오 시각화오디오 Front-end Processing 처리 전과 후 품질 변화를 비교하기 위해, 오디오 파일을 크게 세 가지 방식으로 시각화한다. 첫 번째는 Waveform(파형) 시각화로, 시간에 따른 오디오 신호의 진폭 변화를 보여준다. 아래 그림은 하나의 오디오 파일을 시간 축에 따라 시각화한 결과로, 사람이 말하는 구간에서는 진폭이 크고 변화가 많은 반..