跳至主要内容
返回文章列表
约 1 分钟阅读

阅读笔记:预测不确定性到底在描述什么

梳理数据不确定性与模型不确定性的区别,以及它们对实验解释的影响。

在分类或回归任务中,“不确定”常被当成一个统一概念,但不同来源的不确定性对应完全不同的行动。

两类来源

数据不确定性来自观测噪声或任务本身的模糊性,即使拥有更多同类数据也未必消失。模型不确定性则与知识不足有关,新的、有代表性的数据可能降低它。

若用参数为 θ\theta 的模型描述预测,贝叶斯预测分布可以写为:

p(yx,D)=p(yx,θ)p(θD)dθp(y_*\mid x_*,\mathcal{D})=\int p(y_*\mid x_*,\theta)p(\theta\mid\mathcal{D})\,d\theta

积分表达了对参数后验的不确定性;实际方法通常通过采样或近似推断估计它。

对实验的提醒

高预测熵并不能自动说明是哪一类不确定性。若要声称方法识别了“模型不知道的样本”,就需要额外实验区分噪声、分布外输入和类别边界附近样本。

我的阶段性理解是:不确定性估计的价值不只是一列新指标,而是帮助我们决定何时应收集数据、请求人工判断,或拒绝给出过度确定的答案。