可靠性图如何阅读
将相近预测概率分组,比较每组的平均预测与实际发生比例。若预测约 70% 的组长期只有约 50% 发生,模型可能过度自信;但必须查看样本量与不确定性。
分箱方法会影响外观
等宽与等样本量分箱可能产生不同图形,小样本格子会很不稳定。应同时报告每格样本量,不只画一条看起来接近对角线的曲线。
校准与区分能力一起评估
总是预测全体平均率可能校准不错,却缺少区分不同比赛的能力。概率质量还应结合适当评分规则与简单基线比较。校准器应在独立数据或交叉验证框架内拟合,不能直接使用测试集。
教学示例
100 个教学事件的平均预测为 0.70,实际发生 68 次,说明这一组的经验频率为 0.68。它不保证每个子联赛或下一批数据也同样校准。
一个常见误区
高命中率不自动意味着概率校准良好;可靠性图也不是模型完整质量的唯一证明。