跳到主要內容
Lab Grimoire
TW EN
請喝咖啡
LLM 原理

嵌入模型:把一段話變成座標,讓電腦依意思找內容

嵌入模型把文字或圖片轉成一串固定長度的數字,意思相近的內容座標就靠近。本文說明它吃什麼、吐什麼、怎麼用餘弦相似度比遠近,能做語意搜尋、分群、去重與 RAG 檢索,以及它不懂事實、怕領域落差、需要同一個模型與適當切段等限制,並比較它和重排序模型、大型語言模型的分工。

作者
CY
發表
更新
AI 從原理到實戰 · 第 20/89 篇
嵌入模型:把一段話變成座標,讓電腦依意思找內容

想不起關鍵字,也能找到那篇論文

想像一下,資料夾裡堆積了幾百篇論文,你想不起其中一篇的關鍵字。

你只記得它講「少睡之後記憶變差」,不確定作者寫的是 sleep deprivation 還是 sleep loss。你知道關鍵字搜尋為什麼常在這裡落空嗎?因為它只認字面。用錯詞就撈不到。嵌入模型把一段文字轉成一串固定長度的數字,讓電腦依意思比對,你直接打問句就能找出最接近的段落。完整分類見AI 模型種類地圖。

嵌入模型一圖看懂

輸入一段內容,輸出一個向量

嵌入模型輸出一個向量,不論輸入一個詞或一整段話,長度都一樣。

向量就像地圖上的座標,只是方向多達幾百甚至上千個。word2vec 替每個單字算出向量,意思相近的字落在附近 [2]。Sentence-BERT 把它延伸到句子,用成對句子微調 BERT,讓意思相近的兩句向量也靠近 [1]。模型本身不寫文字。它只負責給座標。

意思相近,座標就靠近

兩段內容像不像,看兩個向量方向多接近,常用量法叫餘弦相似度。

把向量想成從原點射出的箭:夾角越小,餘弦值越接近 1,意思越像;夾角接近直角時值接近 0,大致無關。文件向量能事先算好存著,查詢時只算問句的向量,所以很省時。Sentence-BERT 論文的對照:在 1 萬個句子中找最相似的一對,讓 BERT 把句子兩兩一起讀要用掉約 65 小時,先各自算好向量再比較約 5 秒 [1]。

能做什麼:語意搜尋、分群、去重與 RAG 檢索

內容能比遠近,就能拿來搜尋、分群、找重複,以及替大型語言模型找資料。

把論文切段、各自算出向量後,問句「睡眠不足會不會影響記憶」就能找到寫 sleep deprivation 的段落。兩邊不必有共用的字。同一批向量也能分群看主題,或找出幾乎相同的檔案。RAG(檢索增強生成)的第一步也是如此:先用向量撈出相關段落,再交給大型語言模型作答 [3]。DPR 的檢索器用兩個編碼器分別把問題和段落轉成向量 [4]。CLIP 則如同把圖片和文字標在同一張地圖上,一句描述就能找出對應的照片 [5]。

限制:它比的是像不像,不是對不對

嵌入模型只衡量意思有多接近,不判斷內容是否正確。

主題相同的錯誤說明和正確說明,向量可能非常接近。還有領域落差:用一般網路文字訓練的模型,未必分得清生醫縮寫和基因名,要換用該領域模型,或拿你自己的資料抽查。問句和文件也必須用同一個模型算向量,好比不同地圖的座標不能混用。切段同樣要拿捏:整篇論文壓成一個向量,細節會被平均吃掉;不過切太碎,句子又會和上下文拆開。

什麼時候選它:先粗篩,再精排,最後才生成

要從大量內容快速撈出可能相關的一批,選嵌入模型當第一關。

為什麼不一開始就用更細的模型?因為細讀很慢。嵌入模型把問句和文件分開算,所以快。代價是兩邊沒一起讀過。重排序模型會把問句和每段候選一起讀,通常只排嵌入模型撈回的前幾十筆。最後由大型語言模型根據段落寫答案。要替文件貼上固定類別,例如「臨床研究」或「動物實驗」,用標好的例子訓練編碼器分類模型更直接。不靠向量檢索的做法見 DecisionRAG 介紹。

參考文獻

  1. https://arxiv.org/abs/1908.10084
  2. https://arxiv.org/abs/1301.3781
  3. https://arxiv.org/abs/2005.11401
  4. https://arxiv.org/abs/2004.04906
  5. https://arxiv.org/abs/2103.00020

常見問題

嵌入模型找到的段落,是不是就代表答案正確?

不代表。嵌入模型只衡量問句和段落在意思上有多接近,主題相同的錯誤說明和正確說明,向量可能非常接近。它撈回的是「可能相關」的候選,內容是否正確仍要看段落本身的來源,必要時再用重排序模型排序,或回到原文核對。

換了一個嵌入模型,舊的向量還能用嗎?

不能直接混用。不同模型的座標系統互不相通,問句和文件必須用同一個模型算向量,比較結果才有意義。換模型時,文件庫的向量要用新模型全部重算一次。

覺得有幫助? RSS · X · 請我喝杯咖啡