加權卡帕係數（Quadratic Weighted Kappa, QWK）

一、定義與用途

• 定義：加權卡帕係數是 Cohen's Kappa 的加權版本，用於衡量兩組分類結果（通常是預測值與實際值）之間的一致性。
• 用途：
  • 適合用於序數型資料，考慮分類間的距離，例如成績評分或醫學診斷。
  • 評估分類器在排序分類問題上的準確性。

二、特性與公式

• 計算公式：

QWK = 1 - Σ(Wᵢⱼ × Oᵢⱼ) / Σ(Wᵢⱼ × Eᵢⱼ)

• Wᵢⱼ：權重矩陣，表示分類 i 與 j 間的距離。

Wᵢⱼ = (i - j)² / (n - 1)²

• Oᵢⱼ：觀察到的頻率矩陣。
• Eᵢⱼ：期望的頻率矩陣。
• 取值範圍：
• QWK = 1：完全一致。
• QWK = 0：與隨機分類相同。
• QWK < 0：一致性低於隨機分類。
• 權重處理：考慮分類間的距離，更適合排序型問題。

三、優缺點

• 優點：
  • 能考慮分類間的相對距離，對排序問題有更高的解釋力。
  • 提供統一分數，便於模型比較與優化。
• 缺點：
  • 計算較為複雜，尤其在類別數量較多時。
  • 對數據分佈敏感，需謹慎解讀結果。

舉例應用

假設評分範圍為 1-5，評審員給出實際值 [1, 2, 3, 4, 5]，模型預測值為 [1, 3, 3, 4, 4]。使用 QWK 評估模型性能，會考慮到模型在接近實際值的分類上是否更準確，而非單純的準確率。