深度神经网络的校准增强：显式正则化与动态数据修剪

深度神经网络（DNNs）在现代机器学习中扮演着核心角色，然而它们在预测精度与置信度之间常常存在偏差，即过度自信问题。这种错误校准现象使得DNN分类器的决策可信度成为一个关注焦点，特别是在那些对结果有高依赖性的领域，如医疗诊断和自动化工作流程。 针对这个问题，本文探讨了两种关键策略：显式正则化和动态数据修剪，旨在提升模型的校准性。首先，显式正则化是一种针对分类损失的新型技术，它旨在调整模型的输出，使之不仅降低获胜类别的置信度，同时均衡地提高其他类别。这种技术旨在生成在高置信度（预测概率大于0.95）下具有良好校准的预测，这是许多应用场景中所期待的理想模型特性，特别是对于那些依赖于高可信度决策的任务，比如医学影像分析和自动化标注。 然而，现有的校准方法往往会导致高置信度样本的比例减少，因为它们倾向于整体降低所有样本的置信度，包括潜在的“高置信度样本”。为解决这一问题，作者提出了动态数据修剪策略。这个策略在训练过程中定期剔除低置信度样本，保留那些具有较高校准水平的样本。这样做的目的是确保在测试阶段，模型能输出更多的高置信度、准确的预测。 作者通过实验展示了这一动态修剪策略如何在图像分类基准上有效改善模型的性能。他们揭示了修剪低置信度训练样本如何有助于提高测试时高置信度样本的数量，从而增强模型的实际应用价值。这种方法有助于提升深度神经网络的可靠性和准确性，特别是在对模型决策的可解释性和可信度有严格要求的场景，如医疗决策支持系统和工业自动化流程。 总结来说，本文的核心贡献在于提出了一种结合显式正则化和动态数据修剪的方法，以提高深度神经网络的模型校准性，尤其注重生成高质量的高置信度预测，这对于保障基于DNN的应用在实际情境中的可靠性和有效性至关重要。