👁️
Vision-Languageモデル
画像とテキストを同時に理解するAI
Vision-Language Model（VLM）は視覚情報とテキストを統合的に理解するAIです。画像をVision Encoder（通常ViT — Vision Transformer）で埋め込みベクトルに変換し、LLMのテキストトークンとともに処理します。Projection Layer（線形変換またはQ-Former）が視覚埋め込みをLLMのテキスト空間に合わせます。GPT-4V、Claude 3 Vision、Gemini、LLaVA等が代表的です。OCR、チャート解釈、医療画像分析、コードスクリーンショット理解など多様な視覚タスクが可能になりました。
キーコンセプト
1
画像をVision Encoder（ViT）に入力 → パッチ別埋め込みベクトルを生成
2
Projection Layerが視覚埋め込みをLLMのテキスト埋め込み空間に変換
3
変換された画像トークン＋テキストトークンをLLMに一緒に入力
4
LLMのSelf-Attentionが画像トークンとテキストトークンの関係を学習
5
Cross-modal理解:「この画像で猫はどこにいますか？」→ 視覚＋言語統合推論
6
LLMがテキスト応答を生成（画像説明、質問回答、分析等）
メリット
- ✓ 画像＋テキスト複合タスクの処理
- ✓ 別途OCRなしでテキスト認識
- ✓ チャート/グラフ/ダイアグラムの理解
- ✓ マルチモーダルAgentの基盤
デメリット
- ✗ ハルシネーション — 画像にない内容を生成
- ✗ 画像解像度/トークン数の制限
- ✗ 微細な視覚的差異の認識が困難
- ✗ 学習データの視覚的偏り
ユースケース
GPT-4V / GPT-4o（OpenAI）
Claude 3 Vision（Anthropic）
Gemini（Google）
医療画像分析
文書/チャート理解（OCR＋推論）