实验观察－数学物理建模－科学计算，是人类认识自然界的方法论，而偏微分方程 (PDE）是建模的一种关键手段，同时它的求解也是科学计算的核心问题之一。一般而言，寻求方程的解析解不具可行性， 因此偏微分方程的求解经常采用数值方法，即求出解在时空中给定的离散点上的函数值。为此，许多前辈先驱们发展了大量的高精度算法（有限差分和有限元等）。多个变元的偏微分方程（如 Fokker-Planck 方程的变元可以是高维），网格离散将会遭遇维数灾难（难度呈指数增长）。
在上世纪80年代末90年代初，因为关于神经网络的研究短暂回暖，当年一些研究者提出了利用神经网络求解微分方程的算法。不过，由于当时的算力限制，以及在精度上不能超越传统方法，这些算法在当时并没有引起广泛关注。直到2012年，在大数据与算力飙升的时代，神经网络的研究迎来了转机。基于深度神经网络的方法在计算机视觉获得了空前的成功，并于2016年借助AlphaGo在围棋方面的突破而快速出圈，席卷各大领域。由此，以深度神经网络为代表的人工智能（AI）方法也再次进入了科学计算。在2016年以后，深度神经网络求解科学计算问题的研究如雨后春笋，如解偏微分方程，以及求解与微分方程有紧密联系的不确定性量化的正问题、反问题等。
由于目前受深度学习范式所制，深度学习求解科学计算问题（如函数逼近、微分方程求解）的各类方法中，有一个绕不开的采样问题。关于采样的研究，近两年逐渐受到关注。当随机样本给离散损失函数带来较大误差时，往往也意味着训练数据与偏微分方程的解不“匹配”，即数据质量不高。在自然语言处理或计算机视觉领域，如果数据质量不高，将会严重影响深度模型的表现性能。因此，基于深度模型范式的偏微分方程求解算法中，设计合理的采样方式很有必要。对抗自适应采样的提出，源自如下思考：当采样与偏微分方程的解“不匹配”时，残差函数会剧烈变化，意味着其方差会很大，从而导致整体求解误差变大；而当采样与偏微分方程的解匹配得很好的时候，残差函数（或者说由残差诱导的分布）会趋向于一个均匀分布。因此，为了让求解误差降低，采样应尽可能使得残差函数趋向于一个均匀分布，而这往往意味着采样不能是均匀分布（见图1的原理描述）。
图1 对抗自适应采样原理示意图
-技术介绍-
本项研究提出的框架是同时优化损失函数和采样点，基于方差降低的原理，严格分析了方法的有效性，从理论上解释了对抗自适应采样机制的必要性。在算法层面上，当极小化残差函数的时候，同时希望将由残差函数诱导的概率分布推向均匀分布。这样，整个训练过程分为两个步骤，一个步骤是优化残差损失函数，另一个步骤是更新采样点使采样点与解更匹配。这两个步骤需要交替进行，形成一种对抗训练的机制。这种机制尽可能地降低了采样所带来的统计误差，从而提高了整体的求解精度（见图2的实验结果）。
图 2 数值实验结果展示
杨超
研究院院长、先进计算研究中心主任
北京大学大数据分析与应用技术国家工程实验室副主任
北京大学数学科学学院教授
长期从事与超大规模并行计算相关的模型、算法、软件和应用研究，主持国家自然科学基金重点项目、重大研究计划集成项目、科技创新2030重大项目等国家级科研项目10余项，发表学术论文100余篇，研究成果先后获2016年国际计算机协会“戈登·贝尔”奖、2017年中国科学院杰出科技成就奖、2017年CCF-IEEE CS青年科学家奖、2018年茅以升北京青年科技奖、2020年首届王选杰出青年学者奖等国内外重要奖项。目前担任National Science Review编委、SIAM Journal on Scientific Computing编委，中国工业与应用数学学会高性能计算与数学软件专业委员会副主任，中国新一代人工智能产业技术创新战略联盟AI指令集与开发接口标准专题组组长，IEEE C/DC 2941标准工作组副主席等职。
唐科军
研究院先进计算研究中心副研究员
2021年1月博士毕业于中国科学院大学，同时也是上海科技大学信息学院的联合培养博士。2021年2月加入鹏城国家实验室从事博士后研究工作，2023年2月加入北京大学长沙计算与数字经济研究院。主要研究方向是科学计算与机器学习的交叉领域，包括张量计算、深度生成模型、不确定性量化以及微分方程与神经网络的交叉方向，研究成果主要发表在Journal of Computational Physics (JCP) ，SIAM Journal on Scientific Computing (SISC) ，ICLR等国际计算数学期刊和机器学习会议上。
-ICLR国际学习表征会议简介-
ICLR（International Conference on Learning Representations）国际学习表征会议，是由深度学习领域的两位图灵奖获得者Yoshua Bengio和Yann LeCun在2013年牵头创办，获得了全球相关领域学者们的广泛认可。ICLR与NeurlPS、ICML并称为人工智能与机器学习领域的三大顶会。自成立以来，ICLR上发表了众多闻名的成果，如用于训练AI模型的Adam优化器，已经被广泛应用在当前人工智能的基础框架中。ICLR在Google Scholar的学术会议/期刊排名中，常年位于TOP 10阵营。