資料儲存與管理：ACID、NoSQL、資料湖與分片

結帳、商品目錄、行為日誌、月報，要的保證並不相同。有的寫入不能少做一步，有的結構下個月就會改，有的查詢是把大量列加總。儲存比的是它答應哪一種保證，不是排行榜上的名次。讀題時先圈出需求，再對儲存；順序反過來，就容易把產品名稱當成答案。

關聯式資料庫（RDBMS）把資料放在表格裡。欄位與表之間的關係在寫入前就定好，這種做法叫 schema-on-write。查詢用 SQL。它支援交易，適合「這幾步必須一起成立」的操作。

這類操作要的四項合稱 ACID。原子性（Atomicity）是交易內的動作全部成功，否則全部不做：轉帳不能只扣了款、對方卻沒入帳。一致性（Consistency）是交易前與交易後都符合已定的約束，例如庫存不能扣成負數、轉出金額與轉入金額要對得起來。隔離性（Isolation）是並行的交易互不干擾；A 還沒提交的半成品，B 不該當成已經成立的數字來用。持久性（Durability）是一旦提交，即使當機，這筆結果也不會消失。扣庫存、轉帳不能做一半，要的就是這四項。

讀寫形態再把系統分成兩類。OLTP（線上交易處理）面對大量小筆、要立刻完成的寫入，例如一筆訂單、一次扣庫存。OLAP（線上分析處理）面對大量讀取與彙總，例如把各地區金額加總成報表。同一批訂單可以既是交易的對象，也是分析的原料；負責立刻寫對的系統，和負責掃歷史再彙總的系統，承擔的工作不同。

機器不夠用時有兩條路。垂直擴展是換成一台更強的機器，上限就是那一台的處理器、記憶體與磁碟。水平擴展是加上更多機器一起分擔。資料若仍全部擠在單一節點，多出來的機器接不到這些資料，容量不會因此變大。後面的分片，就是把「加機器」落到「資料怎麼切開」。

多台機器之間還會遇到聯絡中斷。CAP 定理說：分散式系統發生網路分區（P）時，只能在一致性（C）與可用性（Availability）（A）之間取捨。這裡的 C 是各節點看到同一份最新資料，與 ACID 那個管約束規則的 C 不是同一件事。偏向 C，分區期間可能拒絕部分請求，以免兩邊各改各的；偏向 A，分區期間仍然回答，但讀到的可能還不是最新。BASE（基本可用、軟狀態、最終一致）站在可用性這一側：服務先保持能用，狀態允許暫時分歧，之後再收斂。

NoSQL 常分成四類，擅長的查詢不同。

鍵值（Key-Value）用一個鍵取出對應的值，例如 Redis。延遲極低，適合快取與 Session，例如這次登入的狀態、暫時放著的熱門結果。它不處理巢狀結構怎麼演變，也不沿著多人關係往下追。

文件（Document）存放半結構化資料，例如 MongoDB 常見的 JSON。一筆商品裡可以再包尺寸、顏色、各倉庫存量，下一批商品多一個欄位，也不必先改全表。內容是巢狀的、結構會變，就對上文件資料庫。

寬欄（Wide-column，也稱欄族）例如 Cassandra、HBase，適合大量寫入與時間序列。紀錄一筆接一筆湧入，查詢多半沿鍵與時間取出一段，而不是做多方同時更新的交易。

圖形（Graph）把資料存成節點與關係，例如 Neo4j。帳戶是節點，轉帳是邊，查詢沿著邊走。詐欺集團裡彼此轉帳形成的關聯、社群網路裡誰連著誰、推薦要走的路徑，問的都是關係，不是某一欄的合計。

向量資料庫存的是嵌入向量（embedding）。語意接近的文字或商品，向量在空間裡也接近。查找時用近似最近鄰（ANN）索引加快相似度搜尋，例如 HNSW，而不是把高維向量逐筆精確比完整張表。語意搜尋、推薦與 RAG 都在找相近內容，所以走相似度，不走精確鍵值，也不是 SQL 的加總。

知識圖譜是知識的表示，不是上一小節那個儲存引擎的別名。它用 RDF 三元組寫下一則事實：主詞、述詞、受詞。例如「（台北, 位於, 台灣）」：台北是主詞，位於是述詞，台灣是受詞。查詢語言是 SPARQL。若資料把知識寫成三段，且中間一段是關係或動作，對應的是 RDF。

分析用的大量歷史，還要分「進庫前整不整理」。

資料倉儲（Data Warehouse）收整理過的結構化資料，同樣是 schema-on-write，服務 BI 報表。欄位意義先講好，彙總才問得穩。

資料湖（Data Lake）是原始資料先存下來。log、影像、表格檔都可以，成本低、格式彈性大。結構等到讀取時才定義，稱為 schema-on-read。適合現在還不知道以後怎麼分析，但原始資料不能丟。若沒有人管這些資料是什麼、誰能看、從哪裡來，湖會變成資料沼澤：檔案都在，卻無法放心拿來算。

湖倉（Lakehouse）底下仍是資料湖的彈性，上面加上交易與結構管理。例如 Delta Lake、Apache Iceberg 提供 ACID 與版本，讓湖上的資料也能可靠地更新，而不是只能一直追加無法管理的檔案。

分片（Sharding）依分片鍵把資料水平切到多個節點。目的是突破單機的儲存容量與讀寫吞吐上限。分片鍵若讓幾乎所有新資料都落在同一節點，該節點就成為熱點，擴展等於沒有發生。切開之後，一個查詢要的資料可能散在多個節點，必須跨節點才彙總得起來。「切出去以後每個查詢都只打一台」不是它的保證。

複製（Replication）是同一份資料存多份。多一處可以讀，某一份故障時也較能繼續服務，提高的是可用性與讀取能力。它不提高能存放的不同資料總量：三份副本仍是那一份內容。單機已經滿了，只做複製不會騰出空間裝新訂單。

分區（Partitioning）是在邏輯範圍上切開，例如按日期分區。查某一段日期就只掃那個分區，不必把其他日期一起讀過。它回答「這次要掃多少」；分片回答「放不放得下、寫不寫得動」。

CSV 是列式純文字，一行一筆，適合交換，分析效率低。就算只要少數欄，讀取時仍容易整行碰到。Parquet 與 ORC 按欄存放，壓縮率高，分析時只讀用到的欄。

程式上可以對照兩種把欄位點明的寫法。各地區金額合計是：

SELECT region, SUM(amount) FROM orders GROUP BY region;

銷售資料若已寫成 Parquet，分析端只打開這次要的欄：

import pandas as pd

pd.read_parquet('sales.parquet', columns=['region', 'amount'])

columns 裡只有地區與金額，對上欄式格式「只讀需要的欄位」。

資料要能長期拿來算，還要資料治理。中繼資料（metadata）描述資料本身，資料目錄（catalog）讓人找得到有哪些資料，資料血緣（lineage）記錄資料從哪來、經過哪些處理，存取權限規定誰能讀、誰能改。這些不是另一種資料庫，而是湖、倉儲與湖倉都需要的管理。少了出處與權限，格式再有彈性，數字也無從核對。