1.2 概率分布逼近

深度学习的方法强劲有力，几乎横扫计算机视觉的所有领域，很多人将其归 功 于 神 经 网 络 的 万 有 逼 近 能 力（universal approximation property）：给定一个连续函数 或者映射，理论上可以用一个包含足够多神 经元的隐层 , 或者多层前馈网络逼近到任意 精度。对此，我们提出另外的观点：有些情 况下，神经网络逼近的不是函数或映射，而 是概率分布；更为重要的，逼近概率分布比 逼近映射要容易得多。更为精密的说法如下： 在理想情况下，即逼近误差为零的情形，如 果神经网络逼近一个映射，那么解空间只包 含一个映射；如果神经网络逼近一个概率分布， 那么解空间包含无穷多个映射，这些映射的差 别构成一个无穷维李群。这是我们更为看好逼 近概率分布，而非逼近映射的原因之一。

1. 概率生成模型

首先看最简单的（伪）随机数生成器。 我们选取适当的整数 a、b 、m ，计算序列

这个最优传输映射是某个凸函数的梯度 映射，这个凸函数被称为是 Brenier 势能函 数，满足蒙日-安培方程。如图 14 所示，我 们将怪兽曲面（第一帧和第四帧）保角地映 射到平面圆盘上面（第二帧），保角映射将 曲面的面积元映射到平面上，诱导了平面圆 盘上的一个概率测度。平面圆盘上也有均匀 概率分布（第三帧），从第二帧到第三帧的映射为最优传输映射。图 14 和 15 显示了基 于最优传输映射的曲面保面积参数化（Surface Area-preserving Parameterization）。

2. 映射极分解理论

3. 小结

通过以上讨论，我们看到如果用一个深 度学习的网络来逼近一个映射，解空间只有 一个映射；如果来逼近一个概率分布，则解 空间为无穷维的保体积微分同胚群。因此， 用深度学习网络来逼近一个概率分布要比逼 近一个映射函或者数容易得多。这或许可以 用来解释如下的现象：基于我们以往的经验， 用神经网络来求解非线性偏微分方程，要比 用神经网络做图像分类困难，因为前者需要 精确逼近泛函空间中的可逆映射，而后者需 要逼近图像空间中的概率分布。