如何判断新模型真的带来改进？

先建立可以复现的基线

可以用训练期联赛胜平负频率、简单主客场进球模型或现有版本作为对照。基线与新模型必须使用同一时间范围、信息时点和结果定义。

按联赛、赛季、主客场或数据完整度分组看指标，检查总体改善是否来自少数大组。反复尝试许多方案再挑最好的结果，会增加偶然选中的风险。

消融实验比较完整模型与移除某一特征或模型后的版本。还要考虑响应时间、可维护性和缺失数据时的表现，不能只看单个总分。

若简单基线 Log Loss 为 1.00，新模型为 0.99，还需要检查样本规模、重复时间窗口和差值稳定性；不能仅凭 0.01 的一次改善宣布重大突破。

在训练集上打败简单模型不是有效的部署证据。