问题描述
是否有出版物解释了他们如何评估自动系统对其分配的标签的“确定性”？我知道部分标记过程是由人类完成的，但我对他们如何评估预测的置信度很感兴趣。
解决方法
我建议您阅读Ground Trust FAQ page，因为它解决了您的疑虑。
问：Amazon SageMaker Ground Truth 如何帮助提高我的训练数据集的准确性？
答：Amazon SageMaker Ground Truth 提供以下功能来帮助您提高人工执行的数据标记的准确性：
(a) 注释合并：这通过将每个数据对象发送给多个工人，然后将他们的响应（称为“注释”）合并到一个标签中来抵消单个工人的错误/偏见。然后获取它们的注释并使用注释合并算法对它们进行比较。该算法首先检测被忽视的异常值注释。然后它对注释执行加权合并，为更可靠的注释分配更高的权重。输出是每个对象的单个标签。
(b) 注释接口最佳实践：这些是注释接口的特性，使工作人员能够更准确地执行他们的任务。人类工作者容易出错和偏见，精心设计的界面可以提高工作者的准确性。一种最佳做法是在固定的侧面板中显示简要说明以及好的和坏的标签示例。另一个最佳做法是，当工作人员在图像上绘制边界框时，将框边界之外的区域变暗。