資料處理技術：批次、串流、Hadoop、Spark 與邊緣運算

明細多到單機的記憶體與磁碟不夠用時，讀取、排序與彙總都會卡在同一台機器上。分散式處理把資料切成區塊，放到多台機器，再把運算送到資料所在的那一台，而不是把全部明細先搬去同一個地方。這個原則稱為資料局部性（data locality）。各台機器處理自己的區塊，之後只把局部結果合併。網路上走的是可相加、可合併的摘要，原始明細仍留在原地。

要等多久，是另一個選擇。批次處理（batch）先把一段時間的資料累積起來，再一次處理。它的延遲高、吞吐大。每日報表屬於這一類：不追求資料一到就更新，要的是這一段被完整算過。串流處理（stream）在資料到達時就處理，延遲低到秒級以下。即時詐欺偵測屬於這一類：判斷要落在交易進行的當下，不能等隔日那一批。可以等到隔日的完整結果用批次；必須在當下做完的判斷用串流。

資料在哪裡產生，也會改寫前半段要放在哪。邊緣運算（edge computing）在產生端附近先處理，例如工廠閘道器、攝影機或車輛。現場先做判斷或做成摘要，延遲與上傳頻寬一起下降，原始資料也不必離開現場。需要全集的工作仍放在雲端，例如集中訓練，以及把各據點的結果彙整起來。

上面三個選擇各自落到不同工具。看一個工具時，先問它解決的是存放、計算、傳送，還是晚到的事件如何入帳。

Hadoop處理的是「單機放不下、也算不完」。HDFS（Hadoop Distributed File System，分散式檔案系統）把檔案切成區塊，散放在多台機器；預設每個區塊複製 3 份，用來容錯，其中一份讀不到時還有副本。MapReduce把計算分成 Map、Shuffle、Reduce：Map 在各區塊上做局部處理，Shuffle 依鍵把中間結果重新分組，Reduce 合併同一鍵的值。中間結果寫入磁碟。只跑一輪時，這個寫入還扛得住；同一份資料要反覆掃很多輪時，每一輪都讀寫磁碟，時間就堆上去。YARN負責把叢集上的 CPU 與記憶體分給這些工作。

Apache Spark把中間結果留在記憶體，迭代型工作因此不必每輪落盤。機器學習在大資料上多輪訓練，就是這種工作：Spark 通常比 MapReduce 快，差在中間結果放記憶體還是磁碟。介面上，DataFrame 與 Spark SQL 用表格描述轉換，MLlib 放機器學習演算法。Structured Streaming走微批次（micro-batch）：把很短區間內到達的資料收成一小批再算。它是串流介面，執行時仍是一小批一小批。

Spark 的惰性求值（lazy evaluation）決定這些步驟何時真的跑。轉換（transformation），例如 filter、select、groupBy，只把步驟加進執行計畫（DAG），不去讀資料。遇到動作（action），例如 count、collect、write，引擎才把整條計畫放在一起最佳化並執行。因此一段只有篩選與分組、沒有任何輸出動作的程式，會很快結束，計算還沒開始。

collect() 本身是動作，而且會把全部結果拉回 driver，也就是負責協調的那一台。資料一大，driver 的記憶體不足，工作就失敗。大資料的彙總應在叢集上做完，拉回單機的只應是摘要。

同一個規則寫成 PySpark，就是下面這段。前一行只產生計畫，show() 才讓它執行；寫出（write）同樣是動作。

from pyspark.sql import functions as F

# df 是已存在的 DataFrame。下一行只把步驟寫進執行計畫。
planned = df.filter(df.amount > 100).groupBy("region").agg(F.sum("amount"))
planned.show()  # 動作：這裡才開始計算

Apache Kafka解決的是來源與處理系統綁死的問題。它是分散式訊息佇列（message queue），也是一份可保留的事件日誌（event log）。生產者把事件寫入主題（topic），主題分成多個分區（partition），同一個消費者群組（consumer group）裡的消費者並行讀取不同分區。處理端可以事後重播日誌，不必請來源再送一次。Kafka 負責把事件送到、並把底稿留住；分數、視窗與模型不是它的工作。

Apache Flink負責計算這些事件，而且是原生的逐筆串流。時間可以用事件時間（event time），也就是事件發生的時間；處理時間（processing time）則是引擎收到它的時間。網路會讓兩者岔開。視窗決定一段事件如何收成一個結果。滾動視窗（tumbling window）首尾相接、互不重疊，例如每 5 分鐘一塊。滑動視窗（sliding window）以較短的間隔向前移，相鄰視窗可以重疊，同一筆事件會落入一個以上的視窗。工作階段視窗（session window）不看固定時鐘，而用閒置間隔切開：中間空了一段沒有新事件，上一個工作階段就結束。水位線（watermark）是一條隨著事件前進的時間界線，用來處理晚到的事件，判斷它還能不能補進已經打開的視窗。

兩種架構決定批次與串流要不要各留一層。Lambda 架構讓批次層與速度層並行：批次層算得完整但較慢，速度層補上最新的一段，使用時把兩邊的結果合併。Kappa 架構只留串流層；邏輯要重算時，重播事件日誌再跑一次。

進倉儲的順序也有兩種。ETL（Extract, Transform, Load）先轉換再載入，是傳統資料倉儲的做法。ELT（Extract, Load, Transform）先載入，再在目標系統裡轉換；雲端資料倉儲與湖倉（lakehouse）常見這種順序，因為轉換可以靠目標端的算力來做。

步驟之間有先後、還要定時重跑時，Apache Airflow把資料管線（data pipeline）編成 DAG 來排程。這張 DAG 管的是「哪一步在哪一步之後」，和 Spark 那張「這一步裡的轉換如何執行」的計畫不是同一層。

程式若留在 Python，而不走 Spark，還有兩條路。Dask用接近 pandas 與 NumPy 的介面，把表格與陣列運算拆到多核心或多台機器。Ray面向分散式 Python 與 AI 工作負載，例如分散式訓練（distributed training），以及平行做超參數搜尋（hyperparameter search）。

局部合併可以用標準差對一次帳。母體變異數寫成 Σx²/n − (Σx/n)²，分母是 n。每個分區只要交出三個數：筆數 n、總和 Σx、平方和 Σx²。合併時三個數各自相加，再套進同一條公式，得到全體變異數，開平方就是標準差。10 億筆明細不必集中到一台機器。各分區的標準差不能直接平均：分區的平均若不相同，那個平均會丟掉分區之間的差異。第 6 題用兩小筆假資料把差額算出來。