導讀：你的 AI 會回答，但不會「說話」？幾十筆範例就能改變它。
一間生技公司用 76 筆對話，把客服正確率從 55% 拉到 91%
你有沒有跟一個很聰明、卻很不會說話的人共事過？他每題都答得對，可是語氣冷淡、用詞像在唸說明書，你聽了總覺得哪裡不對勁。一間生技公司的 LINE 客服機器人正是這種同事，它的回答正確率只有 55%，內容其實沒錯，讀起來卻像在背稿。
那位負責的工程師一開始也想走捷徑，用提示詞（prompt）把它修好，例如在指令裡加上一句「請親切回答」。可是效果並不穩定，因為模型有時照做、有時又冒出學術腔，他好不容易調順一個場景，另一個場景又壞掉，來回折騰了三天，活像在打地鼠。問題的癥結在於，提示詞只能提醒模型「這一次該怎麼說」，卻改不了它「習慣怎麼說」。
於是團隊換了個方向，不再耳提面命地告訴 AI 該怎麼說，而是直接攤開自己平常怎麼說給它看。他們挑了 76 筆精選對話當範例，訓練約三小時，正確率就從 55% 一路拉到 91%，語氣也從生硬的機器人，變得像坐在櫃檯後、會抬頭對你笑的真人客服。這背後的技術就是 LoRA，它不去改造 AI 的大腦，而是幫既有的模型配上一副矯正眼鏡。
LoRA 用不到 1% 的參數量，就能逼近全量微調的效果
沿用眼鏡這個比喻，傳統的全量微調就像把整副眼鏡拆掉重磨，模型裡幾十億個參數全部重新計算，既花時間又花錢，一旦磨壞了還很難救回來。LoRA 換了個省事的思路，鏡片本身不動，只在旁邊貼上一片薄薄的矯正膜，既然你不過是近視加散光，實在沒必要為此重做整副眼鏡。這個概念由微軟在 2021 年提出（Hu et al., arXiv:2106.09685），五年來累計引用破萬。
技術上，這片矯正膜其實是兩個小矩陣，數學上稱為「低秩分解」。名字聽起來嚇人，意思卻很單純：模型行為真正需要調整的空間，比我們想的窄得多，所以只要動幾個關鍵維度就足夠。具體到數字會更有感，一顆 90 億參數的模型，它的 LoRA adapter 只有 2,900 萬個可訓練參數，佔比僅 0.32%，存成檔案也不過 111MB，跟你手機裡一首高音質歌曲差不多大。
QLoRA 則在 2023 年把這件事再往前推一步（Dettmers et al., arXiv:2305.14314，引用超過 7,000 次）。它先把模型從 16-bit 壓縮到 4-bit，再套上 LoRA，於是原本要吃掉 32GB 記憶體的模型，壓縮後 16GB 就能訓練，一張你平常打遊戲用的顯示卡就能勝任。不過壓縮總得付出代價，就像把一張高解析照片存成較小的檔案會流失一些細節，4-bit 量化在某些需要細膩數值推理的任務上，精度會微微下降。QLoRA 原始論文就指出，NF4 量化在部分基準測試上比 FP16 微調低 1 到 2%，這對多數應用可以放心忽略，但如果你的任務對小數點第三位很敏感，那就值得事先想清楚。
Windows 和 Mac 都能跑 LoRA，走法不同但終點一樣
不管你手上是 NVIDIA 顯卡還是 Apple Silicon，用消費級硬體跑 LoRA 微調都已經不是新鮮事，差別主要在於環境設定順不順手。
Windows + NVIDIA：算力充足，但環境設定磨人
這間生技公司想把 Qwen3.5-9B 訓練成品牌客服，用的硬體只是一張 RTX 4060 Ti 顯示卡（16GB 顯示記憶體），再透過 QLoRA 的 4-bit 量化把模型載入。他們拿 76 筆訓練資料、涵蓋 13 種場景，跑了 3 個 epoch，約莫三小時，訓練損失（loss，數值越低代表學得越好）就從 2.14 降到 0.39，最後成品同樣是 111MB。
真正磨人的其實不是訓練，而是前面的環境設定。CUDA 驅動容易互相衝突，pip 有時會自作主張，把你辛苦裝好的 GPU 版 PyTorch 覆蓋成別的版本，它以為自己在幫你升級，其實是在拆你的台。再加上 Windows 的 DLL 載入順序常讓程式無聲無息地當掉、連句錯誤訊息都不留給你，光是讓程式順利跑起來，那位工程師就又折騰了兩天。這條路的好處是教學資源多、社群龐大，代價則是前期得先花不少力氣把環境鋪平。
Mac + MLX：設定簡潔，但生態較年輕
同一個團隊接著在 M4 Pro 的 MacBook 上試了另一條路，任務是生醫命名實體辨識（NER），改用 Apple 的 MLX 框架做 LoRA。這次只用 45 筆資料、跑 60 步，全程 33 秒 就結束，你起身倒杯水回來，它已經練完了。訓練損失從 1.06 降到 0.17，記憶體峰值不到 7GB。微調前，模型的輸出並不聽話，老愛用 markdown 圍欄把 JSON 包起來；微調後就服貼多了，能直接吐出乾淨的單行 JSON，4 筆驗證裡有 3 筆和標準答案完全吻合。
之所以能這麼快，關鍵在於 Apple Silicon 的統一記憶體，它讓 CPU 和 GPU 共用同一塊記憶體，省去了資料反覆搬移的成本。不過 MLX 生態還年輕，一旦踩到框架本身的 bug，往往沒有現成解答可抄，只能自己捲起袖子寫補丁。至於你該選哪一條路，其實取決於手邊有什麼硬體，因為兩條路的終點是一致的：讓模型開始說你的話。
LoRA 改變的是說話方式，不是智商
微調不會讓模型變聰明，只會讓它變合拍，這是最常見、也最危險的誤解。很多人以為餵了 76 筆資料，模型的推理能力就會跟著提升，其實不會，因為你教它的是語氣、格式與術語，讓它更貼合你的需求，而不是抬高它的智力天花板。這就像你教一個人用台語腔講話，他的詞彙量並不會因此變多，只是聽起來更像你隔壁那位鄰居。
那真正的事實知識該怎麼辦，答案是交給 RAG，把產品資料庫、檢測報告或文獻庫接上去，讓模型回答時即時查閱。說白了，微調負責「說話像你」，RAG 負責「說對的話」，這兩件事一旦搞混就容易出事。
更要命的風險是，品質差的資料比不訓練更糟，因為爛範例會把模型教懶，甚至讓它忘掉本來就會的技能，這在學術上稱為「災難性遺忘」。所以 76 筆資料之所以夠用，前提是每一筆都經過你親手挑選、校對與驗證，數量從來不是重點，品質才是。也正因如此，LoRA 是否能完全取代全量微調，答案得看任務：對格式服從、語氣調整這類細部任務，LoRA 的效果與全量微調差距極小，Hu et al. 的原始實驗也支持這一點；但如果你想大幅改寫模型的行為，例如把一個英文模型硬掰成流利的台語模型，只動了 0.3% 參數的 LoRA 就會明顯力有未逮。換句話說，LoRA 擅長輕推，不擅長改造，這項限制在 QLoRA 論文中同樣有討論，尤其在低秩設定（r≤8）的場景下，差距會更明顯。
對醫療和生技來說，最大的吸引力可能是隱私而非速度
LoRA 微調全程在本機執行，敏感資料不需要離開你的電腦，這對每天要面對患者資料、實驗數據或商業機密的團隊來說，是雲端微調服務難以取代的安心感。因為整個訓練都跑在自己的機器上，患者的檢測報告、尚未發表的實驗數據、公司的定價策略，全都留在你的硬碟裡，不會經過任何第三方伺服器；訓練完的 adapter 也躺在本機，你隨時可以換上、拔掉或重新訓練。
這個迴圈其實相當直覺：日常使用時把好的輸出隨手標記起來，累積成資料後，花 33 秒到 3 小時重新訓練，換上新的 adapter，模型就更合手，接著再繼續用下去。這裡沒有什麼高深的即時學習，比較像你定期把車子開去保養，整個節奏都握在自己手裡。
你的 AI 有沒有什麼行為，是你一直很想「教」它改掉的？是語氣、格式，還是它老記不住你的專業術語？
一片矯正貼片，改變你跟 AI 合作的方式
2021 年 LoRA 剛發表時，本地微調還是少數研究者的專利；如今一台 Mac 加 33 秒、或一張顯卡加 3 小時就能完成，門檻已經低到重點不再是技術本身，而是你有沒有備好那幾十筆範例。模型其實不需要變得更聰明，只要一片矯正貼片，它就能開始說你的語言。
References
- Hu, E. et al. (2021). LoRA: Low-Rank Adaptation of Large Language Models. arXiv. arXiv:2106.09685
- Dettmers, T. et al. (2023). QLoRA: Efficient Finetuning of Quantized LLMs. arXiv. arXiv:2305.14314
- Apple Inc. (2025). Explore large language models on Apple silicon with MLX. WWDC 2025.
Frontmatter 契約 → ARTICLE_PACKAGE_SCHEMA v1.6 去詩化 → feedback_popsci_de_poetify（六條，含保溫度）
常見問題
LoRA 微調需要多少訓練資料？
視任務而定，格式服從類任務 45-76 筆即可見效；知識密集型任務需數百筆以上，且資料品質比數量更關鍵。
微調會不會讓模型變笨？
設計不當的資料集確實可能導致災難性遺忘。實務上建議事實知識交給 RAG 處理，微調只負責風格與格式。
沒有 NVIDIA 顯卡能做微調嗎？
可以。Apple Silicon 的 Mac 用 MLX 框架即可做 LoRA 微調，M1 以上機種皆支援，記憶體 16GB 起跳即可操作。
LoRA 真的能取代傳統全量微調嗎？
多數應用場景下效果接近，但 LoRA 只調整 0.3% 參數，對極端任務（如大幅改寫模型世界觀）仍不如全量微調。需依任務複雜度評估。 --- ## English
How much training data does LoRA fine-tuning need?
It depends on the task. Format-compliance tasks can show results with 45-76 examples; knowledge-intensive tasks need hundreds or more, and data quality matters more than quantity.
Can fine-tuning make a model dumber?
A poorly designed dataset can indeed cause catastrophic forgetting. In practice, keep factual knowledge in RAG and let fine-tuning handle only style and format.
Can I fine-tune without an NVIDIA GPU?
Yes. Macs with Apple Silicon can run LoRA fine-tuning through the MLX framework, on any M1 or newer chip, with as little as 16GB of memory.
Can LoRA fully replace traditional full fine-tuning?
In most application scenarios the results are close, but LoRA only adjusts 0.3% of parameters, so for extreme tasks (like rewriting a model's entire worldview) it still falls short of full fine-tuning. It depends on how complex the task is.