NEGABARO AI | NEGABARO Blog

🧱 기초

🧠

Neural Network

뉴런을 모방한 연결주의 학습 모델

입력 데이터를 여러 계층(layer)의 가중치를 통해 변환하며, 역전파(backpropagation)로 오차를 줄여나가는 학습 방식

⚡

Transformer

Self-Attention 기반 병렬 처리 아키텍처

"Attention Is All You Need" — RNN의 순차 처리 한계를 Self-Attention 메커니즘으로 해결하여, 입력 시퀀스 전체를 병렬로 처리하는 아키텍처

📊

AI 전처리 난이도 — 텍스트, 이미지, 오디오, 비디오, 3D 순서로 어려워진다

model(input)은 한 줄이지만, input을 만드는 전처리는 분야마다 완전히 다르다

AI는 전부 model(input) → output이지만, input을 만드는 전처리 난이도가 분야마다 다르다. 텍스트(토큰화 = 룩업)가 가장 쉽고, 이미지(리사이즈 + 정규화), 오디오(STFT + 멜), 비디오(프레임 추출 + 시간 축), 3D(점군 + 복셀) 순서로 어려워진다. AI 공부를 시작하려면 텍스트부터가 맞다.

📝

텍스트 AI 사전학습 모델 카탈로그 — 3줄 코드로 할 수 있는 12가지

감정 분석부터 코드 생성까지 — HuggingFace pipeline 한 줄이면 되는 모델 리스트와 난이도

텍스트는 전처리가 토큰화(룩업 테이블)뿐이라 AI 입문에 가장 적합하다. HuggingFace pipeline으로 감정 분석, 번역, 요약, 질의응답, 텍스트 생성, 코드 생성, NER, 유사도 비교 등 12가지를 3줄 코드로 할 수 있다. 각 태스크별 추천 모델, 크기, 난이도를 정리했다.

🤗

HuggingFace pipeline() — AI 모델의 npm이 작동하는 방식

Hub에 100만 개 모델이 등록되어 있고, pipeline()이 이름으로 자동 다운로드해서 추론까지 한다

HuggingFace Hub는 AI 모델의 npm이다. 누구나 모델을 올릴 수 있고, pipeline()이 이름만으로 가중치·토크나이저·설정을 자동 다운로드한다. 텍스트, 오디오, 이미지, 비디오 — 태스크명만 바꾸면 동일한 인터페이스로 100만 개 이상의 모델을 사용할 수 있다.

🎤

랩 AI 모델 카탈로그 — 가사 생성, 라임 감지, 플로우 분석까지

GPT-2 랩 파인튜닝 모델 + pronouncing 라임 분석 + 실행 가능한 코드 전부

HuggingFace에 랩 가사 ��성 모델이 여러 개 있다. GPT-2를 랩 가사로 파인튜닝한 모델을 pipeline()으로 바로 돌릴 수 있고, pronouncing 라이브러리로 라임 감지·음절 분석도 가능하다. 가사 생성 → 라임 체크 → 플로우 분석까지 전부 코드로 된다.

🏋️ 학습

📚

Pre-training

대규모 데이터로 범용 지식을 학습하는 단계

인터넷 규모의 텍스트 데이터에서 다음 토큰 예측(Next Token Prediction)을 반복하여, 언어의 문법·사실·추론 능력 등 범용 지식을 습득하는 과정

🎯

Fine-tuning

사전학습 모델을 특정 태스크에 맞게 재학습

Pre-trained 모델의 가중치를 특정 도메인이나 태스크의 데이터로 추가 학습하여, 범용 모델을 전문가 모델로 변환하는 과정

👥

RLHF

인간 피드백 기반 강화학습

Reinforcement Learning from Human Feedback — 인간 평가자가 모델 응답을 순위 매기고, 이 선호도 데이터로 보상 모델을 학습한 뒤, 강화학습(PPO)으로 모델을 정렬하는 방법

🎲

DPO (Direct Preference Optimization)

보상 모델 없이 직접 선호도 최적화

RLHF의 복잡한 강화학습 파이프라인(보상 모델 + PPO)을 생략하고, 선호도 데이터로 LLM을 직접 업데이트하는 간소화된 정렬 기법

🔧

LoRA (Low-Rank Adaptation)

소수의 파라미터만 학습하는 효율적 Fine-tuning

원래 모델의 가중치는 고정하고, 저차원(low-rank) 행렬 두 개를 추가하여 적은 파라미터로 Fine-tuning 효과를 내는 기법. GPU 메모리를 대폭 절약

🔧

추론 vs 파인튜닝 — 남의 모델 쓰기와 내 모델 만들기의 차이

pipeline()은 배달 시켜먹기, 파인튜닝은 레시피 받아서 내 입맛에 간 조절하기

추론은 남이 훈련한 모델을 가져다 쓰는 것이고, 파인튜닝은 그 모델을 내 데이터로 재훈련해서 내 모델을 만드는 것이다. 파인튜닝은 처음부터 훈련하는 게 아니라, 이미 잘 훈련된 모델을 베이스로 살짝만 조정하는 것이라 노트북 GPU 하나로도 할 수 있다. 감정 분석이 파인튜닝 입문에 가장 적합하다.

🎓

세상에서 가장 간단한 파인튜닝 이해하기 — 합치기가 아니라 조정이다

66M개의 숫자를 살짝 바꾸는 것. 데이터를 모델에 넣는 것도, 모델끼리 합치는 것도 아니다

파인튜닝은 데이터를 모델에 합치는 것도, 모델끼리 더하는 것도 아니다. 이미 완성된 모델의 가중치(66M개의 숫자)를 내 데이터를 보면서 살짝 조정하는 것이다. 대학 졸업생에게 OJT를 시키는 것과 같다 — 대학 교재를 다시 읽히는 게 아니라, 이미 있는 지식 위에서 새 업무를 가르치는 것.

🔌

LoRA — 66M개를 전부 바꾸지 말고, 1M개짜리 어댑터만 끼우자

파인튜닝의 효율적 대안 — 베이스 모델은 고정하고, 작은 행렬 2개만 훈련한다

파인튜닝은 66M개 숫자를 전부 조정한다. LoRA는 베이스 모델을 얼려놓고(고정), 옆에 작은 어댑터(1M개)만 훈련한다. 결과 품질은 비슷한데 훈련 시간·메모리·저장 공간이 크게 줄어든다. 마치 스마트폰에 케이스를 끼우는 것 — 폰 자체를 바꾸는 게 아니라 케이스만 교체한다.

📎

RAG — 모델을 재훈련하지 않고 \"참고자료\"를 붙여주는 방법

검색(Retrieval) + 생성(Generation) — 모델의 가중치는 안 바꾸고 외부 지식을 프롬프트에 첨부

RAG(Retrieval-Augmented Generation)는 모델의 가중치를 전혀 바꾸지 않는다. 대신 질문이 들어오면 관련 문서를 검색해서 프롬프트에 첨부한 뒤 모델에게 넘긴다. 시험 볼 때 오픈북 참고자료를 가져가는 것과 같다. 파인튜닝과 달리 데이터가 바뀌면 문서만 업데이트하면 된다.

🧬

모델 머징 — 진짜로 두 모델을 \"합치는\" 유일한 방법

한국어 모델 + 코딩 모델 = 한국어로 코딩하는 모델? 가중치 평균으로 합친다

모델 머징은 AI에서 유일하게 "합치기"에 해당하는 기법이다. 두 모델의 가중치를 평균내서 하나로 만든다. 한국어 모델과 코딩 모델을 합치면 한국어로 코딩하는 모델이 나올 수 있다. 훈련 없이 합치는 거라 GPU도 필요 없다. 다만 실험적이라 결과가 보장되지 않는다.

⚡ 추론

✍️

Prompt Engineering

프롬프트 설계로 LLM 능력을 최대한 끌어내기

LLM에 최적의 입력(프롬프트)을 설계하여 원하는 출력을 유도하는 기술. 모델의 가중치를 바꾸지 않고 입력만으로 성능을 극대화

🔍

RAG (Retrieval-Augmented Generation)

검색으로 외부 지식을 주입하여 정확도 향상

LLM이 답변을 생성하기 전에, 관련 문서를 벡터 DB에서 검색(Retrieval)하여 프롬프트에 첨부한 뒤 생성(Generation)하는 방식. 학습 데이터에 없는 최신/전문 지식도 활용 가능

🔗

Chain-of-Thought (CoT)

단계별 추론으로 복잡한 문제 해결

LLM에 "단계별로 생각해보자(Let's think step by step)"라고 지시하여, 중간 추론 과정을 명시적으로 생성하게 하는 프롬프팅 기법. 수학, 논리, 코딩 등 복잡한 문제에서 성능 대폭 향상

🔧

Function Calling (Tool Use)

LLM이 외부 도구를 호출하여 실제 작업 수행

LLM이 텍스트 생성 대신 구조화된 함수 호출(JSON)을 출력하여, 외부 API/DB/계산기 등 도구를 실행하고 결과를 활용하는 기능. AI Agent의 핵심 메커니즘

📈 스케일링 & 최적화

📦

Quantization (양자화)

모델 가중치를 낮은 정밀도로 변환하여 경량화

FP32(32비트)나 FP16(16비트)으로 저장된 모델 가중치를 INT8(8비트) 또는 INT4(4비트)로 변환하여, 모델 크기와 메모리 사용량을 1/2~1/8로 줄이는 최적화 기법

🧪

Knowledge Distillation (지식 증류)

대형 모델의 지식을 소형 모델로 전달

큰 모델(Teacher)의 출력 분포(soft label)를 작은 모델(Student)이 따라하도록 학습시켜, 소형 모델이 대형 모델의 성능에 근접하게 만드는 기법

🏢

Mixture of Experts (MoE)

필요한 전문가만 활성화하여 효율적 스케일링

하나의 거대한 모델 대신, 여러 전문가(Expert) 네트워크 중 일부만 활성화하여 처리하는 구조. 전체 파라미터는 크지만 실제 연산은 일부분만 수행

🏃

Speculative Decoding (투기적 디코딩)

소형 모델로 예측 초안을 만들고 대형 모델이 검증

빠른 소형 모델(Draft Model)이 여러 토큰을 한 번에 생성하고, 느린 대형 모델(Target Model)이 한꺼번에 검증/수정하여 추론 속도를 2~3배 향상시키는 기법

🎨 멀티모달

👁️

Vision-Language Model

이미지와 텍스트를 함께 이해하는 AI

이미지 인코더(ViT)와 언어 모델(LLM)을 결합하여, 이미지를 보고 설명하거나, 이미지에 대한 질문에 답변하는 멀티모달 AI

🎨

Diffusion Model

노이즈를 점진적으로 제거하여 이미지 생성

이미지에 점진적으로 노이즈를 추가하는 과정을 역으로 학습하여, 순수 노이즈에서 시작해 단계적으로 노이즈를 제거하며 이미지를 생성하는 기법

🔊

Text-to-Speech (TTS)

텍스트를 자연스러운 음성으로 변환

텍스트 입력을 자연스럽고 표현력 있는 음성으로 변환하는 기술. 최근에는 LLM과 결합하여 감정, 억양, 다국어를 자연스럽게 처리

🤖 에이전트 & 도구 활용

🤖

AI Agent

LLM이 자율적으로 계획하고 도구를 사용하여 태스크 수행

LLM을 "두뇌"로 하여, 계획 수립 → 도구 호출 → 결과 관찰 → 다음 행동 결정을 반복하며 복잡한 태스크를 자율적으로 수행하는 시스템

🔌

MCP (Model Context Protocol)

AI와 외부 도구를 연결하는 표준 프로토콜

Anthropic이 공개한 오픈 프로토콜로, AI 모델과 외부 도구(DB, 파일, API)를 표준화된 방식으로 연결. USB-C처럼 "하나의 규격으로 모든 도구"를 연결

📊

Eval-Driven Development

평가(Eval) 기반으로 AI 시스템을 반복 개선

프롬프트, 모델, RAG 파이프라인 등의 변경이 성능에 미치는 영향을 자동화된 평가(Eval)로 측정하고, 데이터 기반으로 개선하는 개발 방법론

🛡️ 안전성 & 정렬

🎯

AI Alignment (정렬)

AI를 인간의 의도와 가치에 맞게 작동시키기

AI 시스템이 인간이 원하는 대로 행동하도록 보장하는 연구 분야. "도움이 되고(Helpful), 무해하며(Harmless), 정직한(Honest)" 시스템을 목표로 함

📜

Constitutional AI (CAI)

헌법(원칙)으로 AI 스스로를 개선시키는 방법

Anthropic이 개발한 정렬 기법. 사람이 직접 피드백하는 대신, AI에 "헌법(원칙)"을 주고 스스로 자신의 응답을 비판·수정하게 하여 RLHF의 인간 노동을 대폭 줄인 방법

🌀

Hallucination (환각)

AI가 사실이 아닌 내용을 그럴듯하게 생성하는 현상

LLM이 학습 데이터에 없거나 사실이 아닌 정보를 자신감 있게 생성하는 현상. 다음 토큰 예측이라는 학습 방식의 본질적 한계에서 비롯됨

🎙️ 음성 & 오디오 AI

🎵

Audio Tokenization (Neural Audio Codec)

오디오를 이산 토큰으로 변환하여 LLM처럼 처리

연속적인 오디오 파형을 VQ-VAE 기반 코덱(EnCodec, SoundStream 등)으로 이산 토큰 시퀀스로 변환하여, 텍스트처럼 Transformer로 생성·이해할 수 있게 하는 기술

📜

음성 모델의 진화

규칙 기반 → 딥러닝 파이프라인 → 토큰 기반 → 통합 멀티모달

음성 합성(TTS) 기술의 발전사: 1세대(규칙/연결 합성) → 2세대(통계적 파라메트릭) → 3세대(딥러닝 멜 스펙트로그램 파이프라인) → 4세대(토큰 기반 LLM 방식) → 미래(통합 멀티모달)

🔬

GPT-SoVITS 실전 분석

Pre-training과 Fine-tuning이 실제 코드에서 어떻게 동작하는지

GPT-SoVITS 오픈소스 프로젝트를 통해 Pre-training(사전학습)과 Fine-tuning(미세조정)이 실제 코드에서 어떻게 구현되는지 분석하는 케이스 스터디

🎼

Demucs 코드 분석 — 하나의 노래를 보컬·드럼·베이스·기타로 분리하는 방법

Meta/Facebook Research의 Hybrid Transformer 음원 분리 모델 — 아키텍처, 추론 파이프라인, 실전 활용

Demucs는 Meta(Facebook Research)가 만든 오픈소스 음원 분리 모델이다. 하나의 완성된 곡을 보컬, 드럼, 베이스, 기타(other) 4개 스템으로 분리한다. 현재 버전 htdemucs는 시간 도메인 인코더-디코더와 주파수 도메인 Transformer를 결합한 하이브리드 아키텍처다.

🧠

Mel-Band RoFormer Karaoke 모델 분석 — 리드 보컬만 골라내는 913MB의 비밀

RoPE + 멜 스케일 주파수 분해 + 계층적 시간·주파수 Transformer — 코드와 설정까지

UVR 커뮤니티의 aufr33+viperx가 훈련한 Mel-Band RoFormer Karaoke 모델은 913MB짜리 PyTorch 체크포인트다. 리드 보컬만 분리하고 백킹 보컬은 반주에 남기는 카라오케 전용 모델. 60개 멜 밴드로 주파수를 분해하고, 시간·주파수 축을 교대로 처리하는 계층적 Transformer가 핵심이다. SDR 10.1956.

⚖️

UVR Mel-Band RoFormer vs Demucs — 음원 분리 모델 비교 분석

카라오케 전용 2-스템 vs 범용 4-스템 — 아키텍처, 학습 데이터, 성능, 실전 선택 기준

음원 분리에 가장 많이 쓰이는 두 모델의 비교. UVR Mel-Band RoFormer Karaoke는 리드 보컬만 분리하는 913MB 카라오케 전용 모델이고, Demucs htdemucs는 보컬·드럼·베이스·기타 4-스템으로 분리하는 80MB 범용 모델이다. 쓰임새가 다르다.

⚡

음원 분리 2분 가이드 — Demucs와 UVR Karaoke를 로컬에서 바로 돌리기

실측 기반 비교 — 설치, 실행, 처리 시간, 출력 파일까지 직접 돌려본 결과

Demucs와 UVR Karaoke를 로컬에서 직접 설치하고 돌려봤다. Demucs는 pip install 한 줄 + 실행 한 줄, 모델 80MB, 10초 오디오를 10초에 처리. UVR Karaoke는 모델 913MB, 같은 오디오를 43초에 처리. 간단한 건 Demucs, 노래방 품질은 UVR.

🧬

오디오 AI의 공통 기반 기술 — Demucs, Mel-Band RoFormer, GPT-SoVITS가 공유하는 것들

STFT 스펙트로그램, Transformer 어텐션, 인코더-디코더, PyTorch — 오디오 AI의 공통 DNA

음원 분리(Demucs, Mel-Band RoFormer)와 음성 합성(GPT-SoVITS)은 목적이 다르지만 기반 기술이 같다. STFT로 오디오를 주파수 도메인으로 변환하고, Transformer로 장거리 의존성을 잡고, 인코더-디코더로 분해/복원한다. 이 공통 DNA를 이해하면 오디오 AI 전체가 보인다.

🚀

오디오 AI Hello World — 사전 훈련 모델로 5분 만에 해보는 7가지 프로젝트

pip install 한 줄 + 코드 3줄로 음원 분리, 음성 인식, TTS, 피치 감지, 음악 생성까지

훈련 없이, GPU 없이, 코드 3줄로 오디오 AI를 체험할 수 있다. 음원 분리, 음성 인식, TTS, 피치 감지, 음악 태깅, 소리 분류, 음악 생성 — 전부 사전 훈련된 모델을 다운로드해서 바로 돌리는 것만으로 결과가 나온다.

🎯

input → 사전학습 모델 → output — AI 추론의 본질은 이 한 줄이다

STFT도 마스킹도 잊어라 — 모델이 하는 일은 딱 하나, 입력을 받아 출력을 내는 것

오디오 AI 파이프라인에서 STFT, 마스킹, ISTFT는 전부 수학이다. 신경망이 하는 일은 딱 한 줄 — model(input)으로 output을 내는 것. 음원 분리, 음성 인식, 음성 합성, 소리 분류 전부 이 구조다. 사전 훈련된 모델을 불러와서 input을 넣으면 output이 나온다.

📄 OCR & 문서 AI

👁️

OCR 오픈소스 카탈로그 — 이미지에서 텍스트를 뽑는 모든 방법

Tesseract부터 EasyOCR, PaddleOCR, Surya, TrOCR, Qwen2-VL까지 — 난이도·언어·속도 비교

OCR은 완전히 신경망 분야다. 이미지 → model(image) → 텍스트. 가장 쉬운 EasyOCR(3줄, 80개 언어)부터, CJK 최강 PaddleOCR, 최신 고정밀 Surya, Transformer 기반 TrOCR, 멀티모달 LLM(Qwen2-VL)까지 정리했다.

📑

PDF 특화 OCR — 복잡한 레이아웃·표·수식을 Markdown으로 변환하는 도구들

Marker, Docling, MinerU, Nougat, olmOCR — PDF를 LLM이 읽을 수 있는 형태로

일반 OCR은 이미지에서 텍스트를 뽑지만, PDF는 더 복잡하다 — 다단 레이아웃, 표, 수식, 코드 블록, 머리글/바닥글. PDF 특화 도구는 이런 구조를 이해하고 Markdown/JSON으로 변환한다. RAG 파이프라인의 첫 단계로 필수.

⚖️

계약서·법률 문서 특화 OCR — 조항 추출, 당사자 식별, 구조화

Legal-BERT + LayoutLMv3 + CUAD 데이터셋으로 계약서를 구조화된 데이터로 변환

계약서 OCR은 텍스트를 뽑는 것 자체보다 '뽑은 텍스트에서 무엇을 추출하느냐'가 핵심이다. OCR(텍스트 추출) → Legal-BERT(법률 언어 이해) → 조항 분류·당사자 식별·기한 추출. CUAD 데이터셋(500개 계약서, 41개 라벨)으로 파인튜닝할 수 있다.

🇯🇵

일본어 특화 OCR — 만화, 세로쓰기, 후리가나, 고문서까지

manga-ocr, Sarashina2.2-OCR, PaddleOCR, KuroNet — 일본어 OCR의 모든 선택지

일본어 OCR이 어려운 이유: 세로쓰기(縦書き), 후리가나, 히라가나·카타카나·한자 혼용, 만화 특유의 폰트. manga-ocr(만화 전용), Sarashina2.2-OCR(일본어 문서 최고 정밀도), PaddleOCR(범용 CJK), KuroNet(고문서/くずし字) — 용도별 추천.

🏠

OCR 파인튜닝 입문 — 일본어 부동산 계약서를 읽는 내 모델 만들기

TrOCR + Trainer.train() — 감정 분석 파인튜닝과 완전히 같은 패턴이다

OCR 파인튜닝은 감정 분석 파인튜닝과 구조가 같다. input이 텍스트에서 이미지로 바뀌었을 뿐, Trainer.train()으로 모델의 가중치를 조정하는 것은 동일하다. TrOCR(ViT 인코더 + 텍스트 디코더)이 가장 쉽다 — HuggingFace 표준 인터페이스 그대로.

☁️

OCR API 카탈로그 — 모델 관리 없이 API 한 줄로 텍스트 추출

Google Vision, Azure Document Intelligence, AWS Textract, Clova OCR — 가격·정확도·코드 비교

모델을 직접 설치·관리하지 않고 API 호출만으로 OCR을 할 수 있다. Google Cloud Vision(정확도 최고), Azure Document Intelligence(계약서·영수증 특화 모델), AWS Textract(표 구조화 강함), Naver Clova OCR(한국어 최강) — 각각의 코드 예제와 가격을 비교했다.

📊

일본어 계약서 OCR 벤치마크 — API vs 오픈소스, 어느 쪽이 나은가

Google Vision, Azure, PaddleOCR, Sarashina2.2 — 일본어 계약서로 정확도·속도·가격 비교

일본어 부동산 계약서를 기준으로 API(Google Vision, Azure)와 오픈소스(PaddleOCR, Sarashina2.2-OCR, manga-ocr)의 성능을 비교한다. 정확도는 Google Vision ≈ Sarashina2.2 > PaddleOCR > Azure > EasyOCR 순. 비용은 오픈소스 0원 vs API 페이지당 과금.

⚖️

OCR 종합 비교 — API vs 오픈소스 vs 파인튜닝, 뭘 써야 하나

3가지 접근법의 정확도·비용·보안·난이도·유지보수를 한 장으로 비교

OCR을 구현하는 3가지 방법: API 호출(Google Vision 등), 오픈소스 셀프호스팅(EasyOCR, PaddleOCR 등), 파인튜닝(TrOCR, manga-ocr). 정확도·비용·보안·난이도·유지보수 5가지 축으로 비교하면 상황에 따라 최적 선택이 달라진다.

🔷

Azure Document Intelligence 전용 모델 전체 정리 — 영수증부터 계약서까지 15개 모델

prebuilt-read, prebuilt-receipt, prebuilt-contract, prebuilt-invoice — 모델명만 바꾸면 구조화된 데이터가 나온다

Azure Document Intelligence는 단순 OCR이 아니다. 문서 타입별 전용 모델이 15개 이상 있다. 영수증을 넣으면 가게명·날짜·금액이, 명함을 넣으면 이름·직함·전화번호가, 계약서를 넣으면 당사자·관할권·조항이 구조화된 JSON으로 나온다. 모델명만 바꾸면 된다.

🔍

문서 구조화 추출 API 비교 — Azure, Google, AWS 각각 뭘 제공하나

Azure prebuilt-contract 같은 \"문서를 이해하는 API\"가 Google과 AWS에도 있나?

Azure의 prebuilt-contract처럼 '문서 타입별로 필드를 구조화 추출하는 API'는 Google(Document AI)과 AWS(Textract)에도 있다. 다만 제공하는 문서 타입, 지원 언어, 가격이 전부 다르다. Azure는 전용 모델이 가장 많고, Google은 커스텀 프로세서가 강하고, AWS는 표 추출에 특화돼 있다.

📏 평가 & 검증

📊

AI 모델 평가 입문 — 내 모델이 잘하는지 어떻게 아나?

정확도, BLEU, CER, SDR — 태스크마다 다른 평가 지표와 \"왜 이걸 쓰는지\"

모델을 훈련했으면 평가해야 한다. 근데 태스크마다 평가 방법이 다르다. 분류는 정확도(맞았나 틀렸나), 생성은 BLEU(원본과 얼마나 비슷한가), OCR은 CER(글자 오류율), 음원 분리는 SDR(신호 왜곡비). 전부 숫자 하나로 귀결된다 — 높을수록 좋거나, 낮을수록 좋거나.

📋

태스크별 평가 치트시트 — 어떤 지표를 써야 하는지 한눈에

분류→Accuracy/F1, 생성→BLEU/ROUGE, OCR→CER/WER, 분리→SDR — 코드 포함

태스크에 따라 쓰는 평가 지표가 다르다. 이 치트시트를 보고 자기 태스크에 맞는 지표를 골라 3줄 코드로 바로 측정할 수 있다.

🧪

AI 평가 도구 카탈로그 — evaluate, lm-eval-harness, RAGAS, DeepEval

단일 지표 측정부터 LLM 벤치마크, RAG 평가, 자동 테스트 파이프라인까지

단순 지표 측정(evaluate)부터 LLM 벤치마크(lm-eval-harness), RAG 파이프라인 평가(RAGAS), AI 앱 테스트(DeepEval)까지 — 평가 도구도 용도별로 다르다.

🏠 로컬 실행

🏠

로컬 LLM 도구 카탈로그 — 내 Mac/PC에서 돌리는 AI

Ollama, llama.cpp, LM Studio부터 vLLM까지 — 용도별 정리

API 비용 없이, 데이터 유출 걱정 없이, 인터넷 없이도 LLM을 쓸 수 있다. 2026년 기준 로컬 LLM 생태계는 이미 실용 수준이다. 도구가 너무 많아서 뭘 쓸지가 문제인 정도.