跳到主要內容
Lab Grimoire
TW EN
請喝咖啡
LLM 原理

大型語言模型怎麼運作:一次預測一個 token,接出整段回答

大型語言模型讀進文字、寫出文字,核心只有一個動作:根據上下文視窗裡的前文預測下一個 token。本文說明預訓練與指令微調怎麼把它變成助理、推理模型多花的時間換到什麼、它為什麼會編造,以及何時改用決策模型或嵌入模型。

作者
CY
發表
更新
AI 從原理到實戰 · 第 19/89 篇
大型語言模型怎麼運作:一次預測一個 token,接出整段回答

大型語言模型只做一件事:接著往下寫

想像一下文字接龍:每次接一個字,一路接到整句完成。

你知道它其實只做一個動作嗎?大型語言模型(LLM)讀進文字、寫出文字,靠的是根據前文預測下一個 token。token 是模型處理文字的單位,可能是一個字、半個詞或標點。它把選出的 token 接到尾端再預測下一個,就像接龍接到回答寫完。在AI 模型種類地圖上,它是「文字進、文字出」的那一格。

大型語言模型一圖看懂

上下文視窗:模型一次看得到的範圍

模型預測時能參考的文字有上限,叫上下文視窗,以 token 數計算。

你貼的文件和先前對話都在其中。主流 Transformer 架構的「注意力」機制,讓每個位置決定多參考視窗裡哪些段落。視窗外的內容它看不到。對話一長、內容堆積,有些產品會截掉或濃縮前段,模型就可能忘記你最初交代的條件。

所以你要它根據某份資料工作,就把資料貼進同一次對話,例如貼上論文方法段落,請它改寫成條列。

從文字接龍到助理:預訓練與指令微調

第一階段是預訓練:模型讀大量公開文字,反覆練習預測下一個 token。Brown 等人在 2020 年發現,模型夠大後,提示裡給幾個例子它就能翻譯、問答。不過這時它如同只管往下接的玩家,你問一個問題,它可能接著寫出更多問題。

第二階段是指令微調:Ouyang 等人在 2022 年先請標註人員示範理想回答來微調,再請人替回答排名、據此繼續訓練。在人工評比中,參數少約 100 倍的 InstructGPT,回答比 GPT-3 更受偏好。聽懂指令主要靠這一步。

推理模型:多寫幾步再回答

推理模型在給答案前,會先產生一段中間步驟。

Wei 等人在 2022 年提出思維鏈提示:在例子裡寫出解題步驟,夠大的模型在算術、常識與符號推理題上表現都提升。推理模型把先寫步驟當成預設,代價是吃掉時間、用掉更多 token,所以適合一步錯就全錯的多步驟問題。簡單查詢用不上它。那些步驟也是預測出來的。它們同樣會錯。

為什麼它會一本正經地編造

訓練目標要求模型寫出通順的下一個 token,沒有要求內容為真。

為什麼資訊不夠,它仍寫得出像樣的答案?因為它好比只求接得順的玩家,會寫出最像答案的文字,例如作者與期刊看似合理、實際不存在的參考文獻。這類與事實或來源不符的內容叫幻覺,Ji 等人的綜述整理了類型與緩解方法。

這是訓練目標帶來的限制。降低風險有三步:把來源文件放進視窗,請它只根據這些資料回答;要它標出每個說法出自哪一段;自己回原文核對。檢索增強生成(RAG)把第一步自動化,先搜尋相關段落,再交給模型作答。

什麼時候該換別的模型

要新寫文字,例如摘要、改寫、草擬信件,才輪到大型語言模型。

答案只能落在固定選項時,例如替 500 篇摘要各標上 4 種研究設計之一,決策模型直接替每個選項給出機率。它不會答出清單外的選項。要在幾千篇文件裡找相近的幾篇,用嵌入模型把文件轉成向量、比較距離。輸入是照片或圖表截圖時,找視覺語言模型。

參考文獻

  1. https://arxiv.org/abs/1706.03762
  2. https://arxiv.org/abs/2005.14165
  3. https://arxiv.org/abs/2203.02155
  4. https://arxiv.org/abs/2201.11903
  5. https://arxiv.org/abs/2202.03629
  6. https://arxiv.org/abs/2005.11401

常見問題

大型語言模型會記得我上次聊過的內容嗎?

模型本身只看得到當下上下文視窗裡的文字,視窗以外的內容它看不到。有些產品會另外保存對話或摘要,在下次對話時放回視窗,所以看起來像記得;沒有這類功能時,每次對話都從零開始。要它根據某份資料回答,最穩的做法是把資料貼進同一次對話。

請大型語言模型附上參考文獻,就能確保內容正確嗎?

不能。附上文獻不等於內容正確,它可能寫出作者、期刊、年份都看似合理,實際卻不存在的文獻,這是幻覺的常見形式。比較可靠的做法是先把來源文件交給它,請它只根據這些文件回答並標出出處段落,再自己回到原文逐條核對,確認是否真的寫了這些內容。

覺得有幫助? RSS · X · 請我喝杯咖啡