總整:用一個案例走完從資料到 AI 的流程
以虛構連鎖藥局的回診預測與客服助理為例,走完問題定義、資料清理、建模評估、A/B 測試、RAG、隱私與上線監控,並附線索與方法對照表與 10 題綜合練習。
以虛構連鎖藥局的回診預測與客服助理為例,走完問題定義、資料清理、建模評估、A/B 測試、RAG、隱私與上線監控,並附線索與方法對照表與 10 題綜合練習。
假名化與匿名化、k-匿名、差分隱私、同態加密、聯邦學習的適用情境,資料安全控制,生成式 AI 的個資風險,個資法、GDPR 與歐盟 AI 法重點。
資料在預訓練、微調與偏好對齊的角色,嵌入與餘弦相似度、向量資料庫與近似最近鄰、RAG 流程與切塊、合成資料的風險。
大型語言模型如何一次預測一個 token、注意力與脈絡窗口的作用與限制、溫度與 top-p 取樣的計算,以及幻覺與知識截止的成因和降低方法。
一個神經元在算什麼、激活函數為什麼不可少、softmax、反向傳播與梯度消失、Dropout,以及 CNN、RNN、Transformer 與遷移學習各適合什麼資料。
鑑別式與生成式模型的差別,精確率、召回率、F1 的計算與選擇,ROC 與 PR 曲線,吉尼不純度、bagging 與 boosting,迴歸評估指標。
模型訓練就是調參數讓損失變小:MSE 與交叉熵、手算梯度下降、學習率太大或太小的後果、mini-batch 與 epoch、L1 與 L2 正則化、提早停止與學習曲線。
學習類型,訓練、驗證、測試集的角色,過擬合處理,資料洩漏的五種來源,分層與群組交叉驗證,SMOTE 的正確位置,特徵儲存庫與漂移監控。
依比較、趨勢、分佈、關係、組成選圖,長條圖基準線、對數刻度、循序與發散配色,以及 Tufte 的資料墨水比與資料密度。
K-means、DBSCAN 與階層分群,支援度、信賴度、提升度的計算,PCA 與 SVD 的性質,以及時間序列的組成與驗證方式。