在分类或回归任务中,“不确定”常被当成一个统一概念,但不同来源的不确定性对应完全不同的行动。
两类来源
数据不确定性来自观测噪声或任务本身的模糊性,即使拥有更多同类数据也未必消失。模型不确定性则与知识不足有关,新的、有代表性的数据可能降低它。
若用参数为 的模型描述预测,贝叶斯预测分布可以写为:
积分表达了对参数后验的不确定性;实际方法通常通过采样或近似推断估计它。
对实验的提醒
高预测熵并不能自动说明是哪一类不确定性。若要声称方法识别了“模型不知道的样本”,就需要额外实验区分噪声、分布外输入和类别边界附近样本。
我的阶段性理解是:不确定性估计的价值不只是一列新指标,而是帮助我们决定何时应收集数据、请求人工判断,或拒绝给出过度确定的答案。