贝叶斯神经网络

贝叶斯神经网络是一种特殊的神经网络，其网络参数用概率分布而非常数表示。它具有独特的对不确定性的衡量能力，可以广泛应用于计算机视觉、自然语言处理、主动学习、迁移学习等诸多领域。项目组对贝叶斯神经网络的研究集中在提升贝叶斯神经网络的对抗鲁棒性与使用对抗采样提升贝叶斯神经网络性能。

Robust Bayesian Neural Networks by Spectral Expectation Bound Regularization

对抗攻击指微小的噪声可以使网络输出发生很大变化。相比普通神经网络，贝叶斯神经网络已经在理论上有了较强的对抗鲁棒性，并且可以检测对抗样本，但在实际应用中仍有较大提升空间。我们提出了谱期望上界正则化（Spectral Expectation Bound Regularization, SEBR）方法，显著提升了贝叶斯神经网络的对抗鲁棒性。成果发表于CVPR’ 21，代码开源在AISIGSJTU/SEBR。

Improving Bayesian Neural Networks by Adversarial Sampling

贝叶斯神经网络有很多理论优势，但目前很少被部署在现实场景中。我们对贝叶斯神经网络的训练和推理过程进行了理论分析和实验观察，提出了解释：随机性的影响导致了训练过程中的误差和测试时存在的性能较差的采样模型。

我们提出了使用对抗分布进行训练作为一种理论解决方案，由于计算对抗分布的解析解在实践中很困难，我们提出了对抗采样技术作为一种近似方法，这一方法显著提升了模型在多种情况下的性能表现。成果发表于AAAI’ 22，代码开源在AISIGSJTU/AS。