跳到主要內容
Lab Grimoire
TW EN
請喝咖啡
LLM 原理

影像生成模型怎麼畫圖:從一片雜訊擦出畫面,以及它不能當證據的原因

影像生成模型讀進文字描述,輸出一張圖片。本文用擴散模型說明它如何從純雜訊一步步去除雜訊、由文字引導畫面,適合做插圖與概念草圖,也說明為什麼生成圖不是資料,不能取代研究中的數據圖與顯微影像。

作者
CY
發表
更新
AI 從原理到實戰 · 第 24/89 篇
影像生成模型怎麼畫圖:從一片雜訊擦出畫面,以及它不能當證據的原因

文字描述進,一張圖片出

影像生成模型讀進一段文字描述,有時再加一張參考圖,輸出一張新的圖片。

想像一下,你要替一篇談睡眠的文章配封面,只要描述「深夜的城市,只剩幾扇窗亮著」,它就能生出幾種構圖。為什麼這樣的圖不能當研究資料?要從它怎麼畫圖說起。在AI 模型種類地圖上,它和視覺語言模型方向相反。

Summary: 影像生成模型怎麼畫圖

擴散模型:學會一步步去除雜訊

目前主流的影像生成模型是擴散模型,它在訓練時只練一件事:把加了雜訊的圖還原回去。

研究者在大量圖片上逐步加入隨機雜訊,直到畫面被打碎成一片雪花,再讓模型學著判斷帶雜訊的圖裡混進了哪些雜訊。Ho 等人 2020 年的 DDPM 論文把這套做法整理成穩定的訓練流程。生成時方向倒過來:模型從一張純雜訊開始,每一步擦掉一點,反覆許多步之後畫面才逐漸成形,就像在起霧的玻璃上慢慢擦出窗外的景物。

文字怎麼引導每一步

你寫的文字描述,負責替每一步去雜訊指方向。

模型怎麼知道該往哪裡擦?描述先經過文字編碼器轉成一串數字向量,模型去雜訊時參考這串向量,決定要往「一隻貓」還是「一座橋」的方向擦。CLIP 用大量網路圖文配對訓練,讓圖片和描述落在同一個向量空間,它屬於地圖上的嵌入模型。Ramesh 等人 2022 年的方法先由文字產生 CLIP 的圖片向量,再從這個向量畫出圖。Rombach 等人提出的潛在擴散則把去雜訊搬到壓縮後的空間:先用自動編碼器把圖片壓成小得多的表示,在那裡去雜訊,最後還原成完整圖片。原本會吃掉的大量運算因此省下,許多開源繪圖工具都建立在這個做法上。

適合做什麼:插圖、草圖、氛圍板

它擅長把模糊的想法很快變成可以討論的畫面,例如文章插圖、概念草圖、氛圍板(mood board)與封面。

如同開頭的封面例子,你先生出幾種構圖,挑定方向再修。這類用途在意畫面傳達的感覺,細節是否與現實一致並不影響使用。

會出錯的地方:看起來合理,不代表正確

模型學到的是圖片通常長什麼樣子,但它不會檢查畫面是否符合事實。

這正是它的限制。常見錯誤包括手指數目不對、解剖位置錯置、儀器零件實際上裝不起來、圖中文字變成亂碼,以及要求畫 5 個物件卻出現 4 個或 6 個。所以生成圖不是資料。研究報告裡的數據圖、顯微影像、凝膠或染色照片,都必須來自真實的量測與拍攝,不能用生成圖代替或補足。你對外使用生成圖時,請標明它由 AI 生成,並保留使用的工具與描述,讀者才分得清哪些是示意、哪些是紀錄。

和鄰近模型怎麼分

要選哪一種,看你需要的是示意圖,還是能被核對的圖。

  • 視覺語言模型:方向相反,圖進、文字出;要讀懂一張既有的圖時找它。
  • 大型語言模型:常負責撰寫或改寫描述,本身不畫圖。
  • 嵌入模型:CLIP 這類文字編碼器在背後引導畫面方向。
  • 繪圖工具:你手上有數據時,圖表要由 R、Python 或試算表直接從數據畫出,每個點都對得回原始數字;請影像生成模型「畫一張長條圖」,只會得到外觀如同長條圖的圖片。

參考文獻

  1. https://arxiv.org/abs/2006.11239
  2. https://arxiv.org/abs/2112.10752
  3. https://arxiv.org/abs/2204.06125
  4. https://arxiv.org/abs/2103.00020

常見問題

AI 生成的圖可以放進論文或報告,當成結果圖使用嗎?

不行。影像生成模型學到的是圖片通常長什麼樣子,但它不會檢查畫面是否符合事實,所以生成圖不是資料。數據圖要從實際量測的數字畫出來,顯微影像、凝膠與染色照片要來自真實拍攝。生成圖只適合當示意圖,使用時應標明由 AI 生成,並保留使用的工具與描述,避免讀者把示意誤認成紀錄。

影像生成模型和視覺語言模型差在哪?

兩者方向相反。影像生成模型讀進文字描述,輸出一張圖片;視覺語言模型讀進圖片和問題,輸出一段文字回答。要把想法畫成插圖或草圖時找影像生成模型,要讀懂一張既有的照片、表格截圖或圖表時找視覺語言模型。兩者都可能出錯:前者會畫出不合理的細節,後者會看錯小字或密集的數字。

覺得有幫助? RSS · X · 請我喝杯咖啡