大型語言模型怎麼運作：token、注意力、脈絡窗口與幻覺

聊天機器人寫出一段話，是一次接上一個 token，不是先想完整段再一次寫出。token 是模型處理文字的最小單位，不一定等於一個字，也不一定等於一個詞。常見的英文單字往往是一個 token，少見的字會被拆成好幾段。中文常常是一到兩個字組成一個 token。實際怎麼切，由分詞器（tokenizer）決定。長度上限與計費，都以 token 數計算，不以字數計算。

每個 token 會先對到一個向量，這個向量叫做嵌入（embedding，第 17 篇）。模型內部接著處理的是這些向量。

生成方式叫做自迴歸生成（autoregressive generation）。模型讀入目前為止的所有 token，對整個詞彙表輸出「下一個 token」的機率分佈，從中選一個接上，再把變長之後的整段讀進去，如此重複，直到這段話結束。

用一組虛構的數字看一次。前文是「今天天氣很」，下一個 token 的機率是「好」0.50、「熱」0.30、「冷」0.15，其他候選合計 0.05。模型是在詞彙表的這組機率上取一個 token。若取到「好」，句子變成「今天天氣很好」，下一輪再預測「好」後面該接什麼。

預訓練的目標就是預測下一個 token。答案直接來自原文裡的下一個 token，不另做人工標籤，這種做法屬於自監督學習（self-supervised learning，第 12 篇）。模型學到的是「什麼文字常接在什麼後面」的統計規律。事實知識是這個規律的副產品。它回答時不是去查一個資料庫。

預訓練之後，還會做監督式微調與偏好對齊（第 17 篇），讓模型依照指令回答，並偏向人想要的說法。生成方式不變，仍然是一次預測一個 token。

到了使用階段的推論，參數是固定的。對話裡告訴它的事，不會寫回參數。下一輪還用得到那些話，是因為它們仍留在這一次的輸入裡。

下一個 token 的機率，不是只看最後一個字。計算某個位置的表示時，模型用注意力（attention）看前文的 token。它對前文每個 token 算一個相關分數，經 softmax 變成總和為 1 的權重（第 15 篇），再依權重把各 token 的資訊加權平均。權重愈大，那個 token 對這個位置的貢獻愈多。

例句：「小明把書還給小華，因為他已經讀完了。」處理「他」時，「小明」應該拿到較高的權重。讀完書、把書還回去的是小明，不是收下書的小華。

自注意力讓每個位置在一步之內就能參考所有位置，所以可以平行訓練。循環神經網路（RNN，第 15 篇）則必須一步接一步。多頭注意力（multi-head attention）同時用好幾組注意力，各自捕捉不同關係。

注意力權重每次輸入都重新計算。模型參數在訓練結束後固定。兩者不是同一組數字。對話不會改寫參數，但每次輸入的注意力權重可以不同。

自注意力要比較每一對 token。長度是 n 時，計算量約與 n² 成正比。長度變成 2 倍，注意力計算約變成 2² = 4 倍。

脈絡窗口（context window）是模型一次能讀入的最大 token 數。裡面包含系統指示、對話歷史、貼進來的文件，以及模型自己已經寫出的內容。這些部分共用同一個上限。

超過上限時，應用程式必須截斷或摘要。被截掉的內容，模型這一次看不到。對話很長時，開頭的訂單編號、地址或但書，就可能因此「被忘記」。

模型本身沒有跨對話的記憶。新對話裡看起來還記得上次的內容，是應用程式把過去的文字再放回這一次的脈絡，不是參數裡多了一段記憶。

從機率分佈挑出下一個 token，這個步驟叫取樣（sampling）。貪婪解碼（greedy decoding）每次取機率最高的那個。結果比較穩定，也比較容易重複同樣的句式。

溫度（temperature）寫成 T。做法是先把每個分數除以 T，再做 softmax。T < 1 時分佈更尖，輸出更保守、更一致。T > 1 時分佈更平，輸出更多樣，也更容易出錯。T 接近 0 時，行為接近貪婪解碼。

下面用兩個候選 token，分數是 2 與 1。softmax 先取指數，再除以這些指數的和。

• T = 1：分數仍是 2 與 1。e² ≈ 7.389，e¹ ≈ 2.718，相加 7.389 + 2.718 = 10.107。7.389 / 10.107 ≈ 0.731，2.718 / 10.107 ≈ 0.269。
• T = 0.5：分數變成 2 / 0.5 = 4，以及 1 / 0.5 = 2。e⁴ ≈ 54.598，e² ≈ 7.389，相加 54.598 + 7.389 = 61.987。54.598 / 61.987 ≈ 0.881，7.389 / 61.987 ≈ 0.119。高分候選的機率從 0.731 升到 0.881。
• T = 2：分數變成 2 / 2 = 1，以及 1 / 2 = 0.5。e¹ ≈ 2.718，e^0.5 ≈ 1.649，相加 2.718 + 1.649 = 4.367。2.718 / 4.367 ≈ 0.622，1.649 / 4.367 ≈ 0.378。兩個機率比 T = 1 時更接近。

同一組計算可以寫成程式。取指數前先減去這組分數的最大值，是為了避免數值過大；印出的三行與上面的機率一致。

import numpy as np


def softmax_t(scores, t):
    z = np.array(scores) / t
    e = np.exp(z - z.max())
    return e / e.sum()


for t in (0.5, 1.0, 2.0):
    print(t, softmax_t([2.0, 1.0], t).round(3))
# 0.5 [0.881 0.119]
# 1.0 [0.731 0.269]
# 2.0 [0.622 0.378]

Top-p（nucleus sampling）則先縮小候選集合。依機率由高到低累加，只在累積機率剛好達到 p 的最小候選集合裡抽，抽之前重新正規化，使這組機率再次加總為 1。

沿用「今天天氣很」，設 p = 0.8。「好」0.50 加「熱」0.30 = 0.80，剛好達到門檻，集合只有這兩個。「冷」0.15 與其他 0.05 不進入這一次的抽籤。重新計算：0.50 / 0.80 = 0.625，0.30 / 0.80 = 0.375。所以「好」被抽中的機率是 0.625，不是原來的 0.50。

即使取樣很保守，模型仍可能說錯，而且語氣平穩。這種輸出叫幻覺（hallucination）：內容通順、看似有把握，但錯誤，或沒有根據。服務可以正常把句子生成完，這不是當機。

原因回到生成目標。模型學的是「怎樣接才順」，不是「這句話已經查證」。訓練資料裡沒有、或很少出現的事，它仍會接出看似合理的內容，而且不一定會說「不知道」。

時間上還有一道界線，叫做知識截止（knowledge cutoff）。預訓練資料只收集到某個時間點，之後的事，參數裡沒有。除非用檢索或工具把新資料放進這一次的脈絡，否則模型讀不到上週才公布的規定。

降低幻覺，是把根據放進它這一次能讀到的範圍：用 RAG 提供可引用的資料（第 17 篇）；要求附上出處，並由人查核；把回答範圍寫窄，並允許它回答「不知道」。溫度調低只減少隨機性，不保證內容正確。RAG 若檢索到錯誤的段落，模型仍可能照著那段文字答錯。