跳到主要內容
Lab Grimoire
TW EN
請喝咖啡
LLM 原理

視覺語言模型:讓 AI 看一張圖,再用文字回答你

視覺語言模型(VLM)讀進一張圖片和一個問題,輸出一段文字。本文說明它如何把圖片切成小塊交給語言模型、適合描述照片與讀圖表,以及在小字、計數、位置與專業影像上常見的錯誤,並和影像生成、嵌入模型比較。

作者
CY
發表
更新
AI 從原理到實戰 · 第 23/89 篇
視覺語言模型:讓 AI 看一張圖,再用文字回答你

一張圖加一個問題進去,一段文字出來

視覺語言模型(vision-language model,VLM)讀進一張圖片和一段文字問題,輸出一段文字回答。

想像一下,你把一張長條圖的截圖交給它,問「Y 軸的單位是什麼」,它會找到軸標籤,再用一句話回答你。為什麼純文字的大型語言模型做不到這件事?因為它收不到圖片。在AI 模型種類地圖上,視覺語言模型佔的是「圖片加文字進、文字出」那一格。

Summary: 視覺語言模型

它怎麼看圖:把圖片切成小塊,轉成語言模型讀得懂的詞

多數視覺語言模型由兩個部分接成:影像編碼器管著看圖,大型語言模型管著寫出答案。

語言模型怎麼讀圖?影像編碼器先把圖片切成固定大小的小方塊,像把一張照片剪成一格格拼圖。Vision Transformer(ViT)證明這種切塊做法可以直接用來辨識影像:每一塊先轉成一串數字,模型再計算各塊之間的關係。以 LLaVA 為例。它沿用 CLIP 現成的影像編碼器,再用一層簡單的投影把每塊圖的數字轉成語言模型「詞」的格式,接在你的問題前面。所以對語言模型來說,這些圖塊就像一段它讀得懂的特殊文字,讀完後照平常方式逐字寫出答案。LLaVA 又用圖文問答資料訓練,讓模型學會依指示回答圖片相關的問題。

Flamingo 走另一條路線:它在語言模型內部插入額外的層,讓模型寫字時能隨時回頭參考圖片,因此也能處理多張圖與文字交錯的輸入。

適合做什麼:先看一眼,替你讀出圖上的內容

日常最常見的用途是描述照片、讀表格或圖表截圖,以及從掃描頁面抽出文字。出國時拍下路標或產品說明書,它能讀出上面的字,再翻成你要的語言。

在研究工作裡,它適合當看第一眼的助手。拿到一篇論文的圖,可以先問它「這張圖比較了哪幾組」「橫軸代表什麼」,掌握圖的架構後,再決定要不要細讀原文。整理堆積的掃描表單,做法如同讀圖:先讓它把欄位內容轉成文字,再由人逐筆確認。

常看錯的地方:小字、數量、位置與沒見過的影像

它最常在五種情況下出錯。碰到很小的字和密集的數字表,它可能讀錯一位數或對錯欄;請它數一張圖裡有幾個細胞或幾個人,答案常常不準;問「哪個物體在左上角」這類精確位置,也容易答偏。顯微鏡切片、放射影像這類訓練時很少見的專業影像,它可能給出聽起來專業、實際上沒有根據的判讀。它還可能描述圖中不存在的細節,而且語氣跟答對時一樣篤定。

這些就是它目前的限制。所以凡是要寫進報告的數字,都要回到原圖或原始資料核對;專業影像的判讀,仍要交給受過訓練的人。

跟鄰居怎麼分:大型語言模型、影像生成與嵌入模型

挑工具時,先看手上有沒有圖,再看你要的輸出是什麼。

**大型語言模型只收文字、看不到圖片,問題不涉及圖時用它就夠了。影像生成模型方向相反,文字進、圖片出,要的是一張新圖才找它。嵌入模型**裡的 CLIP 如同視覺語言模型,也同時處理圖和文字,但它把兩者放進同一個座標空間,用距離判斷哪張圖配哪句話,因此適合以文搜圖或分群,卻不會寫出回答。要看完一張圖再用句子回答你,就交給視覺語言模型。

參考文獻

  1. https://arxiv.org/abs/2304.08485
  2. https://arxiv.org/abs/2010.11929
  3. https://arxiv.org/abs/2103.00020
  4. https://arxiv.org/abs/2204.14198

常見問題

視覺語言模型從論文圖表讀出來的數字,可以直接引用嗎?

不建議直接引用。視覺語言模型讀很小的字、密集的數字表或細小的刻度時,可能讀錯一位數或對錯欄,而且語氣不會因為讀錯而變得遲疑。它適合用來快速掌握圖表在比較什麼、軸代表什麼;要寫進報告或簡報的數值是否正確,請回到論文原文、補充資料或原始數據逐一核對。

可以用視覺語言模型判讀顯微鏡切片或醫學影像嗎?

只適合當參考,不能當成判讀結果。一般的視覺語言模型主要用網路上的照片與圖文資料訓練,顯微鏡切片、放射影像這類專業影像在訓練資料中很少見,它可能給出聽起來專業、實際上沒有根據的描述。專業影像的判讀仍需要受過訓練的人員,涉及診斷時應由醫師負責。

覺得有幫助? RSS · X · 請我喝杯咖啡