大型語言模型怎麼運作:token、注意力、脈絡窗口與幻覺
詳情
大型語言模型如何一次預測一個 token、注意力與脈絡窗口的作用與限制、溫度與 top-p 取樣的計算,以及幻覺與知識截止的成因和降低方法。
大型語言模型如何一次預測一個 token、注意力與脈絡窗口的作用與限制、溫度與 top-p 取樣的計算,以及幻覺與知識截止的成因和降低方法。
模型訓練就是調參數讓損失變小:MSE 與交叉熵、手算梯度下降、學習率太大或太小的後果、mini-batch 與 epoch、L1 與 L2 正則化、提早停止與學習曲線。
p 值、顯著水準、型一與型二錯誤、檢定力的正確意思,Z、t、配對 t、ANOVA、卡方與無母數檢定的選擇,以及信賴區間與檢定的對應。
學習類型,訓練、驗證、測試集的角色,過擬合處理,資料洩漏的五種來源,分層與群組交叉驗證,SMOTE 的正確位置,特徵儲存庫與漂移監控。
一個神經元在算什麼、激活函數為什麼不可少、softmax、反向傳播與梯度消失、Dropout,以及 CNN、RNN、Transformer 與遷移學習各適合什麼資料。