目录
不确定性的测量和质量
顾名思义，我们有了各种建模和估计不确定性的方法，就需要不同的测量来评估他们的好坏。通常情况下这些方法的正确性和可靠性是不能自动算出来的。其中存在的挑战如下：
- 第一，不确定性估计的质量取决于不确定估计的根本方法。Yao等人的研究表明，贝叶斯推断的不同近似(如高斯近似和拉普拉斯近似)会导致不同质量的不确定性估计。
- 第二，不确定性估计没有ground truth，如何定义ground truth是个问题。例如，如果我们将基础真理的不确定性定义为人类受试者的不确定性，我们仍然需要回答这样的问题:“我们需要多少受试者?”或“如何选择受试者?”
- 第三，缺乏统一的定量估计的测度。更具体地说，不确定性在不同的机器学习任务中有不同的定义，如分类、分割和回归。例如，预测区间或标准偏差被用来表示回归任务中的不确定性，而熵(和其他相关的措施)被用来捕获分类和分割任务中的不确定性。
估计分类任务中的不确定性
对于分类任务而言，网络的softmax输出已经代表了置信度的测量，但是原始的softmax输出既不可靠，也不能代表所有的不确定度来源，因此还需开发进一步的方法和测量。
测量分类任务中的数据不确定性
考虑有K个不同类别的分类任务，输入样本x对应的网络概率向量输出为p(x)。通常情况下给定的预测p是分类分布，而这种逐点预测可以被视作数据不确定度的估计。然而模型估计出来的数据不确定度会受到模型不确定性的影响。为了估计数据不确定程度，通常使用最大类别概率以及熵，
Maximal probability:
p
max
=
max
{
p
k
}
k
=
1
K
Entropy:H
(
p
)
=
−
∑
k
=
1
K
p
k
log
2
(
p
k
)
\text{Maximal probability:} \quad p_{\text{max}} =\max\left\{p_k\right\}_{k=1}^K \\[1em] \text{Entropy:} \text{H}(p) =-\sum_{k=1}^Kp_k\log_2(p_k)
Maximal probability:pmax=max{pk}k=1KEntropy:H(p)=−k=1∑Kpklog2(pk)
测量分类任务中的模型不确定性
测量分类任务中的分布不确定性
完备数据集性能测量
估计回归任务中的不确定性
测量回归任务中的数据不确定性
测量回归任务中的模型不确定性
估计分割任务中的不确定性
分割中的不确定估计非常类似于分类任务。可以使用近似贝叶斯推断和测试时数据增广技术。像素级分割的不确定度用置信度间隔、预测方差、预测熵、互信息等度量。整体的不确定性估计通过像素上的平均获得。整体不确定性的质量通过变化系数、平均dice分数或者交并比来评估。这些度量测量了多次逐对范式估计下的重叠区域一致性。理想情况下，一个错误的分割会导致像素级和整体不确定性的增加。为此，有人实验分析了不同不确定性阈值下筛选出的像素的真阳率、假阳率以及roc曲线。
校准
校准方法
正则化方法
后处理方法
不确定性估计校准方法
估计校准质量
数据集与baseline
不确定性估计的应用
总结
顾名思义，我们有了各种建模和估计不确定性的方法，就需要不同的测量来评估他们的好坏。通常情况下这些方法的正确性和可靠性是不能自动算出来的。其中存在的挑战如下：
