神經網路與深度學習：神經元、反向傳播與表示學習

一個神經元（neuron），把每個輸入乘上對應權重，加總，再加上偏差，最後經過活化函數（activation function）。式子是 a = g(w₁x₁ + w₂x₂ + … + b)。g 就是活化函數。權重與偏差是第 13 篇說的參數，訓練要改的就是它們。

代一組數字。輸入 x = (2, 1)，權重 w = (0.5, −1)，偏差 b = 0.5。

z = 0.5×2 + (−1)×1 + 0.5

0.5×2 = 1，(−1)×1 = −1，所以 z = 1 + (−1) + 0.5 = 0.5。

常用的 ReLU，定義是 ReLU(z) = max(0, z)：負數變成 0，正數原樣留下。ReLU(0.5) = 0.5。若另一組參數算出 z = −0.3，則 ReLU(−0.3) = 0。

另一個常用的是 sigmoid，寫成 σ(z) = 1 / (1 + e^(−z))，輸出落在 0 到 1 之間。z = 0 時 e^0 = 1，所以 σ(0) = 1 / (1 + 1) = 0.5。

活化必須是非線性的。若每層只做加權和，兩層就是 W₂(W₁x) = (W₂W₁)x：先乘一個矩陣、再乘第二個，等於一次乘上合併後的矩陣。層數再多也能合併成一次線性變換，能分開的邊界只剩直線或平面，彎曲的關係學不到。影像裡「這塊像不像某個物體」、句子裡詞與詞的依賴，都不是一條直線分得開的。

第 14 篇的邏輯斯迴歸，可以看成只有一個 sigmoid 神經元的網路：加權、加偏差、再壓到 0 與 1 之間，中間沒有隱藏層。

神經元排成層：輸入層接收原始數字，隱藏層做轉換，輸出層給出預測。隱藏層有很多層時，稱為深度學習（deep learning）。

最單純的接法是全連接層：每個輸入都連到每個輸出。參數數是輸入數 × 輸出數，再加輸出數；多出來的那些是每個輸出各一個偏差。一張 28×28 的灰階影像攤平，28×28 = 784 個輸入，接到 128 個神經元。權重有 784 × 128 = 100,352 個，再加上 128 個偏差，100,352 + 128 = 100,480 個參數。一層就已經這麼多。

輸出層看任務。迴歸預測一個數值，用 1 個輸出，不加活化。二元分類用 sigmoid，得到一個 0 到 1 的分數。多類別用 softmax，把各類分數轉成總和為 1 的機率：softmax(zᵢ) = e^(zᵢ) / Σⱼ e^(zⱼ)。

分數 (2, 1, 0) 的算法：e² ≈ 7.389，e¹ ≈ 2.718，e⁰ = 1。總和 7.389 + 2.718 + 1 = 11.107。三個機率是 7.389 / 11.107 ≈ 0.665、2.718 / 11.107 ≈ 0.245、1 / 11.107 ≈ 0.090。加總 0.665 + 0.245 + 0.090 = 1.000。分數為 0 的類別機率不是 0，因為 e⁰ = 1。

疊很多層，換來的是表示學習（representation learning）。前面的層學低階特徵，影像裡例如邊緣、紋理；後面的層把它們組成高階特徵，例如部件、物體。人不必先設計好這些檢測器。對照第 5 篇：表格資料仍常靠人做特徵工程；影像、聲音、文字多半交給網路自己學。文字沒有現成的數值欄位，也是靠一層層的表示，把局部組合慢慢組成較大的單位。哪一種接法對得上影像或序列，是下一節的問題。

1. 前向傳播（forward pass），把這筆資料從輸入送到輸出，得到預測。
2. 用損失函數（loss function），算預測和答案的差距。分類常用交叉熵，迴歸常用 MSE，兩者的角色在第 13 篇。差距大，損失就大。
3. 反向傳播（backpropagation），用微積分的連鎖律，從輸出層往回算出每個權重的梯度，也就是這個權重動一點點時，損失會增還是會減。
4. 沿梯度更新權重。這一步才是梯度下降，或 Adam，都在第 13 篇。

這四步重複許多個 epoch。一個 epoch 是訓練資料被完整走一輪。反向傳播只是把梯度算準、算得有效率的方法，本身不是最佳化器；權重數字會不會改，要看第 4 步有沒有做。

層一多，會碰到梯度消失（vanishing gradient）。sigmoid 的斜率是 σ(z)×(1 − σ(z))。σ = 0.5 時，斜率是 0.5×0.5 = 0.25，這是最大值，出現在 z = 0。z 很大或很小，輸出靠近 1 或 0，斜率靠近 0。反向傳播要把每一層的斜率連乘。就算 10 層都取這個最大值，0.25¹⁰ ≈ 9.5 × 10⁻⁷，傳到前面幾層的梯度幾乎是 0，那些權重幾乎不更新。

ReLU 在正的區間斜率固定是 1，連乘不會越乘越小，所以深網路多半用它，而不是每一層都用 sigmoid。另一個做法是殘差連接（residual connection），讓梯度可以跳過幾層直接往回傳，不必每一層都乘一次。

第二個麻煩是過擬合。參數很多時，網路有能力記住訓練資料，換一批資料就不準。常見對策有四個。Dropout，訓練時隨機讓一部分神經元輸出 0，例如一半，避免網路只依賴少數神經元；拿來預測時全部神經元都用，不再隨機變成 0。資料擴增，對影像做翻轉、旋轉，讓同一張圖以不同樣子出現。權重衰減（L2），是第 13 篇的 L2，讓權重不要無限制變大。提早停止，也在第 13 篇：驗證資料上的損失不再下降就停。

全連接層把影像攤平後，每個像素各自一組權重。同一個小圖案出現在左上角或右下角，等於要重新學一次，參數也跟著像素數變多。

卷積神經網路（CNN），改用一個小濾鏡在影像上滑動。單通道的 3×3 濾鏡只有 9 個權重再加 1 個偏差，共 10 個參數，和影像多大無關。同一組權重走到每個位置，這叫權重共享。圖案換位置仍由同一組權重負責，所以認得出來。CNN 適合影像。

循環神經網路（RNN），依序讀序列，把上一步的隱藏狀態傳給下一步。序列很長時，梯度要沿著時間一步步乘回去，同樣容易梯度消失。LSTM 與 GRU，用閘門決定留下多少、忘掉多少，減輕這個問題。RNN 必須一步接一步算，難以同時處理整段序列。

Transformer，用注意力（attention），讓序列中每個位置直接參考其他位置，不必只靠前一步傳下來的狀態，因此可以平行計算。大型語言模型以它為基礎，細節在第 16 篇。

影像能被深層處理，是因為 CNN 的濾鏡先抓住局部圖案，後面的層再把邊緣、紋理組成部件和物體。語言這類序列則用 RNN 沿順序傳遞狀態，或用 Transformer 一次看整段；深層做的仍是表示學習。兩者都不是先把資料收成金額、次數那種欄位，再交一個線性模型。

影像、語音、文字這類非結構化資料，而且資料量大時，深度學習最有優勢。一般表格資料，欄位已是金額、次數、天數，梯度提升樹常常一樣好或更好，見第 14 篇。

深度學習需要大量資料，也需要 GPU 這類算力。資料少時不要從零訓練一個大網路，改用遷移學習（transfer learning）：拿已經在大量資料上預訓練好的模型，只重新訓練或微調最後幾層，讓前面學到的低階特徵留著。

下面用 numpy 把前面兩個手算再跑一次。w @ x 就是 0.5×2 + (−1)×1，再加上偏差。

import numpy as np

x = np.array([2.0, 1.0])
w = np.array([0.5, -1.0])
b = 0.5
z = w @ x + b
print(z, max(0.0, z))  # 0.5 0.5

scores = np.array([2.0, 1.0, 0.0])
p = np.exp(scores) / np.exp(scores).sum()
print(p.round(3))  # 約 0.665、0.245、0.09