跳到主要內容
Lab Grimoire
TW EN
請喝咖啡
LLM 原理

編碼器分類與序列標註:替整段文字貼標籤,或替每個字圈出名詞

編碼器分類模型讀進一段文字輸出一個標籤,序列標註則替每個字詞各貼一個標籤,例如從論文摘要圈出基因、藥物與疾病名稱。本文說明 BERT 這類編碼器怎麼運作、BioBERT 與 PubMedBERT 的生醫用途、它的限制,以及什麼時候該選它而不是大型語言模型。

作者
CY
發表
更新
AI 從原理到實戰 · 第 22/89 篇
編碼器分類與序列標註:替整段文字貼標籤,或替每個字圈出名詞

一段文字進去,出來的是標籤

編碼器分類模型讀進一段文字,輸出一個標籤;序列標註則替文中的每個字詞各貼一個標籤。

想像一下,你桌上堆積了 3000 篇論文摘要,你想先挑出相關的幾篇,就像替每篇摘要貼上「相關」或「不相關」的標籤,再把提到的基因、藥物和疾病名稱圈出來。前一件事是分類。判斷評論正負面也是同類工作。後一件事是序列標註,最常見的是命名實體辨識(NER):模型逐字判斷每個字是基因名的開頭、中段,還是都不是。在 AI 模型種類地圖上,這一類吃進文字、吐出事先定好的標籤,不寫新句子。

編碼器分類與序列標註一圖看懂

怎麼運作:先讀懂整句,再接一個小分類器

這類模型分兩層:下層編碼器把整句讀成一組數字表示,上層小型分類頭再依此選出標籤。

典型代表是 2018 年發表的 BERT。它先在大量文字上預訓練:把句子裡部分字詞遮起來,要模型參考左右兩邊的文字猜回來,因此每個字的表示都帶著前後文。做特定任務時,在編碼器上加一層輸出層,再用人工標好的例子繼續訓練,這一步叫微調(fine-tuning)。分類時,分類頭看整句給一個標籤;序列標註時則替每個字各給一個。

模型怎麼知道一個字屬於藥名?要看它前後寫了什麼。所以更早的 NER 模型(Lample 等人,2016)已採用雙向讀取。

生醫文獻:BioBERT 與 PubMedBERT

生醫文字充滿專有名詞與縮寫,用生醫文獻預訓練的編碼器在這類文字上通常比通用版本表現好。

BioBERT 拿 PubMed 摘要與 PMC 全文接著預訓練 BERT,作者報告它在生醫命名實體辨識、關係擷取和問答任務上都勝過原版 BERT。PubMedBERT 則只用 PubMed 文字從頭預訓練。作者比較後認為,在生醫這種文字量充足的領域,從頭訓練比從通用模型接著訓練效果更好。如同開頭那疊摘要,常見用途是標出基因、化合物與疾病名稱,再整理成可搜尋的表格。

強項與限制

它的強項是小、快、便宜,輸出格式固定;限制是每個任務都要標註資料,且只認得訓練時見過的標籤。

這類模型通常比大型語言模型小得多,一般電腦就跑得動,你的資料也不必送到外部服務。輸出只會是預先定義的標籤,所以對錯能直接統計。代價是彈性。你想多加一個「臨床試驗」類別,就得補標資料、重新微調,這都要用掉人力。文件寫法與訓練資料差很多時,例如從期刊摘要換成病歷,準確度可能下降,你得拿新資料重新評估。

什麼時候選它,而不是問大型語言模型

任務會重複上千次、標籤固定、你手上又有標註資料時,微調過的編碼器通常比較划算。

既然大型語言模型不必訓練,提示裡寫清楚類別就能分類,為什麼還要微調編碼器?因為兩者適合的階段不同。前者適合試做或類別還在變動的時候,不過逐字生成答案會吃掉較多時間,同一段文字問兩次也可能得到不同說法。決策模型如同編碼器分類,也從固定選項中挑一個:讀進情境和列好的選項,替每個選項給出機率,有些本身就是編碼器加分類頭。嵌入模型也用編碼器讀文字,但輸出代表語意的數字,用來比相似度。

參考文獻

  1. https://arxiv.org/abs/1810.04805
  2. https://arxiv.org/abs/1901.08746
  3. https://arxiv.org/abs/2007.15779
  4. https://arxiv.org/abs/1603.01360

常見問題

大型語言模型不用訓練就能分類,為什麼還要微調編碼器?

兩者適合的階段不同。類別還在變動、只想先試做時,在提示裡寫清楚類別,直接請大型語言模型分類最省事。等到類別固定、同一個任務要重複上千次,微調過的編碼器通常更划算:模型小,一般電腦就跑得動,速度也快;輸出只會是預先定義的標籤,結果容易統計,同一段文字每次也會得到同一個答案。代價是需要先準備一批人工標註的例子。

用論文摘要訓練的 BioBERT,可以直接拿來辨識病歷裡的藥名嗎?

不能直接這樣假設。BioBERT 與 PubMedBERT 是用期刊文獻預訓練,病歷的寫法差很多,常有縮寫、口語紀錄和錯字,模型在摘要上的表現不一定能延續到病歷。比較穩妥的做法是先標註一小批病歷當作測試資料,量過準確度再判斷是否能用,必要時用病歷資料再微調一次。病歷屬於個人資料,處理時也要遵守對應的隱私規範。

覺得有幫助? RSS · X · 請我喝杯咖啡