NeurIPS2021|一文洞悉因果机器学习前沿进展

原标题：NeurIPS 2021 | 一文洞悉因果机器学习前沿进展

微软中国MSDN 点击上方 蓝字关注我们

（转载自微软研究院AI头条）

编者按：近年来，因果机器学习在人工智能和诸多交叉领域产生了卓越的影响，得到了越来越多的关注。借助因果关系推理，机器学习的鲁棒性、泛化能力、可解释性等方面都将得到有效提升。今天我们精选了三篇微软亚洲研究院关于因果机器学习的 NeurIPS 2021 论文，为大家介绍该领域的最新科研进展。论文内容涵盖：在单源域泛化预测、多源域泛化预测，以及模仿学习三类任务中学习因果关系的方法和理论，并展示了利用因果关系提高模型在环境和分布发生变化时的稳健性。未来，微软亚洲研究院将进一步推进机器学习方法在更多更严苛的现实任务上的应用。

近年来，随着机器学习模型性能的不断提高，人们逐渐不再满足于它们在标准数据集上的表现，而是还希望它们能在真实的应用场景中同样具有稳定可靠的表现。但实现此目的的一个重要挑战是，真实场景中的环境情况通常与干净的标准训练数据集不同，会有数据分布的变化从而会遇到分布外样例，而模型不一定会在新环境中给出合理的结果。

这为机器学习模型带来了新的要求，即 模型需要学到做出预测或判断的本质原因和规律，而非依赖于表面“看上去”的关联关系，因为后者可能只是在特定环境下的表象，只有前者决定着环境变化之后的规律，可对分布外样例给出合理的结果。这便引出了因果机器学习这一新的研究方向。在 NeurIPS 2021 上，微软亚洲研究院的研究员们发表了一系列因果机器学习领域的研究成果。

学习用于分布外预测的因果语义表示

• 论文链接： https://arxiv.org/pdf/2011.01681
• 代码链接： https://github.com/changliu00/causal-semantic-generative-model

人们已经发现标准的有监督学习方法，特别是深度学习方法对分布外样例的预测表现欠佳。例如图1中的例子[Ribeiro’16]，若训练集中大部分“哈士奇”的图片都是暗背景而大部分“狼”的图片都是雪地背景，那对于处在雪地中的“哈士奇”的测试样例，模型会预测为“狼”。若对模型进行可视化可发现模型更关注于背景，因为在这样的数据集上，背景与前景物体具有很强的关联性，并且背景是一个比前景物体更有区分度的特征，但只有前景物体决定图片的标注。

图1：分布外预测任务的挑战

基于这个因果角度的考虑，研究员们提出了 “因果语义生成模型”（Causal Semantic Generative model, CSG），如图2(a)所示（注意基于前面的考虑，图中去掉了v→y）。此外，根据上面的例子，s和v在特定环境中常会相关，例如“哈士奇”/“狼”常与暗背景/雪地背景一起出现，但此相关性并非因为两者间有因果关系，比如把“哈士奇”放到雪地中不会让它变成“狼”，也不会把背景变暗。因此研究员们使用了一个无向边来连接它们。这不同于大部分已有工作，那些工作认为各隐因子间都是独立的。