資料視覺化:選對圖表並避免誤導
依比較、趨勢、分佈、關係、組成選圖,長條圖基準線、對數刻度、循序與發散配色,以及 Tufte 的資料墨水比與資料密度。
依比較、趨勢、分佈、關係、組成選圖,長條圖基準線、對數刻度、循序與發散配色,以及 Tufte 的資料墨水比與資料密度。
K-means、DBSCAN 與階層分群,支援度、信賴度、提升度的計算,PCA 與 SVD 的性質,以及時間序列的組成與驗證方式。
資料多仍會有偏誤的原因、抽樣方法、Pearson 與 Spearman 的選擇、迴歸係數與 R²、勝算比、貝氏定理與效果量。
以讀碼角度整理 pandas 的常用寫法:loc 與 iloc、多條件篩選、groupby、merge、melt、Int64、分塊讀取大檔與 seaborn 常用圖。
批次與串流處理的差別,HDFS、MapReduce、Spark 惰性求值、Kafka、Flink 視窗與水位線、邊緣運算,以及分散式計算統計量的方法。
關聯式資料庫與 ACID、四類 NoSQL 與向量資料庫、資料倉儲與資料湖與湖倉、分片與複製、CAP 定理、RDF 三元組與欄式格式。
缺失值的三種機制與處理、離群值判斷、Label 與 One-Hot 與目標編碼、標準化與 Robust Scaling,以及前處理造成的資料洩漏。
p 值、顯著水準、型一與型二錯誤、檢定力的正確意思,Z、t、配對 t、ANOVA、卡方與無母數檢定的選擇,以及信賴區間與檢定的對應。
從資料產生方式選分佈:二項、卜瓦松、指數、常態與負二項的使用情境、平均與變異數,以及中央極限定理與標準誤的意義。
用集中趨勢、離散程度與形狀描述資料,學會判斷何時用中位數與 IQR、如何從盒鬚圖讀出偏態與離群值,並用 Z 分數與變異係數比較不同尺度。