AAAI2020|王培松：稀疏二值神经网络，不需要任何技巧，取得SOTA精度（视频解读）

原标题：AAAI 2020 | 王培松：稀疏二值神经网络，不需要任何技巧，取得SOTA精度（视频解读）

作者 | 王培松

编辑 | Camel

本文是对中科院自动化所完成，被 AAAI2020 录用的论文《Sparsity-inducing Binarized Neural Networks》进行解读。

二值网络（BNN）由于其对于硬件非常友好，获得了学术界和工业界的广泛关注。虽然二值网络执行效率非常高，但是相对于全精度浮点网络，其精度损失严重。

目前二值网络普遍使用sign函数对网络的权值和激活量化到-1和+1，对二值网络的研究方向主要包括提高二值网络的训练技巧、修改网络结构使得网络结构对于二值量化不敏感等，然而二值表达形式却被研究者忽略。

在本文中，我们提出了稀疏量化，即对网络激活量化到0和+1，而网络权值依然量化到-1和+1。我们验证了在使用0-1量化时，不会引入任何额外的计算量，但网络性能却获得大幅度提升。同时，针对稀疏二值量化网络中超参选择问题，我们提出一种高效的自动化学习方法，进一步提升二值网络性能。

通过实验发现，我们在没有使用任何额外技巧的情况下，网络精度能够达到目前最高水平。

相关报道：

AAAI2020 | 新型冠状病毒疫情下，还去开会吗？