生成式 AI：嵌入、向量資料庫與 RAG

生成式模型（generative model）學的是資料本身的分佈，並依這個分佈產生新樣本。餵進去的資料有哪些規律、哪些話重複出現、哪些內容不該留下，都會進到模型後來的生成結果裡。

常見類型可以先分開理解，避免把「能生成」看成同一種訓練。

大型語言模型（LLM）以 Transformer 的自注意力（self-attention）預測下一個 token。前面的文字決定下一個 token 的機率，模型再把 token 一個個接下去，新的文字就是這樣產生的。一次預測一個 token 的過程、注意力與脈絡窗口的限制，以及幻覺的成因，第 16 篇有完整說明。擴散模型（diffusion model）從雜訊出發，逐步去噪，得到影像。GAN（Generative Adversarial Network）把生成器與判別器放在一起對抗訓練：生成器產生樣本，判別器分辨真假，兩邊同時更新。VAE（Variational Autoencoder）把資料編碼到潛在空間，再從潛在空間解碼回樣本；要新樣本時，走的仍是這條解碼路徑。

大數據進到 LLM，依目的分成三個階段，不能互相替代。

預訓練使用海量文字，以自監督方式預測下一個 token，學的是語言怎麼接，以及文字裡帶有的知識。監督式微調（SFT，supervised fine-tuning）使用人工撰寫的指令與回答，讓模型學會按指令作答，而不是只把字接完。偏好對齊使用人類偏好資料，例如 RLHF（以人類回饋強化學習）：幾種回答都接得下去時，模型偏向人比較想要的那一種。

預訓練資料進模型前要先處理。重複內容必須去重複，因為重複會被過度記憶。其後做品質過濾，移除個資與有害內容，再斷詞成 token。資料品質直接決定模型品質。低品質或重複的資料不會被自動忽略，其中的偏誤會被放大。

檢索之前，文字和圖片要先變成可以比較的數字。嵌入（embedding）把文字或圖片轉成高維向量：語意相近的內容，向量也相近。

這篇用餘弦相似度（cosine similarity）比較兩向量有多近：

cos(a, b) = a·b / (|a| |b|)

分子是內積，分母是兩個長度的乘積。結果落在 −1 到 1，只看方向，不看長度。方向相同時接近 1，方向垂直時為 0。可以把向量想成箭頭：兩支箭頭指向接近，就算一長一短，餘弦仍然高。

以 a = (1, 0)、b = (1, 1) 把算式走完。

• a·b = 1×1 + 0×1 = 1
• |a| = √(1² + 0²) = 1
• |b| = √(1² + 1²) = √2
• cos(a, b) = 1 / (1 × √2) = 1/√2 ≈ 0.707

內積 1 與長度 √2 都是算式的一部分，本身不是相似度。

向量資料庫（vector database）存放大量嵌入。筆數到了百萬至數十億，逐筆比對太慢，因此用近似最近鄰（ANN，approximate nearest neighbor）索引，例如 HNSW，在毫秒級找出最相近的 k 筆。ANN 以少量精確度換取大幅速度，不保證每一筆都是數學上的精確最近鄰。

檢索增強生成（RAG，retrieval-augmented generation）把找依據和生成回答接成一條可以畫出來的流程：

文件切塊 → 每塊轉成嵌入 → 存入向量資料庫 → 使用者提問轉成嵌入 → 檢索最相近的 top-k 片段 → 把片段放進提示詞 → LLM 依據片段生成回答，並可附出處。

文件切塊（chunking）的大小決定檢索準不準。切塊太大，一個片段塞進太多主題，檢索不精準，也佔用上下文。切塊太小，語意被切斷，依據不完整。常讓相鄰塊有部分重疊，使落在邊界上的句子不會只出現在其中一塊。

用詞不同但意思接近時，向量檢索比較有利；專有名詞和型號則不一定穩。混合檢索把兩側合在一起：關鍵字檢索例如 BM25，擅長專有名詞與型號；向量檢索擅長語意。

RAG 的知識放在文件裡。文件更新後，換成新的切塊與嵌入即可，不必重新訓練。回答可以引用來源，也因為有片段可依，有助於降低幻覺（hallucination）。幻覺是指模型產生看似合理但不正確的內容。緩解方式是：用 RAG 提供依據、要求附上引用、限制只根據提供的內容回答，以及事後查核。企業內部的私有知識同樣適合走這條路，不必全部寫進模型參數。

微調（fine-tuning）改的是另一件事：模型的行為、輸出格式、語氣，或某項特定任務的能力。若要讓模型跟上經常變動的事實，通常用 RAG 較合適。事實隨文件更換；格式與語氣才靠微調，也可以再結合指令設計。

合成資料（synthetic data）是用生成式模型產生的訓練資料，可補足稀少類別、在不便直接使用原始個資時保護隱私，並降低標註成本。它會繼承並放大原模型的偏誤與錯誤。若下一代又拿這些產出當訓練資料，分佈會逐漸變窄、品質退化，稱為模型崩潰（model collapse）。因此仍要人工抽查，並用真實資料驗證，不能把真實資料整批換成合成資料後就持續迭代。

提示注入（prompt injection）是指使用者的輸入，或檢索到的文件，裡面藏了指令，誘使模型偏離原本任務。RAG 會把檢索片段放進提示詞，所以文件本身就可能帶著這類指令。檢索來源要控管，權限採最小化。

另一項是個資外洩。訓練資料或對話中的個資，可能被模型記住，之後又在回答裡輸出。預訓練時移除個資，上線後限制模型能讀到的內容，都是在壓這條出路。

下面是 RAG 四個呼叫的概念示意。model 是嵌入模型，index 是向量索引，實際名稱依使用的套件而定；最後兩行是本篇的餘弦相似度算式。

import numpy as np

emb = model.encode(chunks)                # 每個切塊轉成一個向量
index.add(emb)                            # 存入向量索引（例如 HNSW）
query_emb = model.encode([question])      # 提問也轉成向量
D, I = index.search(query_emb, k=5)       # I：最相近的 5 個切塊編號；D：對應的距離

a, b = np.array([1.0, 0.0]), np.array([1.0, 1.0])
cos = np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))   # 約 0.707

search 回傳的編號 I 用來取出對應的切塊原文，再放進提示詞。