准确率、Brier 分数与 Log Loss 怎样评价模型？

准确率丢失了概率信息

取最大概率类别后统计对错，无法区分 51% 与 99% 的自信程度。类别不均衡时，只猜常见类别也可能得到看起来不错的准确率。

Brier 分数比较概率误差

二分类时，Brier 是概率与实际 0/1 结果平方差的平均，越小越好。多类别有不同缩放约定，应注明是否对类别求和或取平均，不能跨口径直接比较。

Brier二分类 = (1/N) × Σ(p_i − y_i)²

对数损失惩罚自信的错误

Log Loss 使用真实类别对应的预测概率。极小的真实类别概率会带来很大损失；实现时要说明数值截断。多个指标应在相同测试集、相同目标和相同信息时点比较。

Log Loss多分类 = −(1/N) × Σ ln(p_i,真实类别)

教学示例

一个实际发生的二分类事件，预测 0.8 时 Brier＝0.04，Log Loss≈0.2231；预测 0.6 时分别为 0.16 和 0.5108。若事件未发生，过度自信会付出更大损失。

一个常见误区

不同联赛、不同样本或不同预测时点的分数不能直接用来宣称某模型更强。