11.25 单目视频下运动物体建模及分析

特征点轨迹是刻画视频中不同图像帧匹配关系的一种常用表示，其首先提取图像中的特征点，例如Harris 特征点，然后利用 Lucas-Kanade 方法[3]对这些特征点进行跟踪得到。由于特征点具有显著性和稳定性的特点，特征点轨迹往往较精确而且可以持续较长时间，从而能准确刻画物体的长时间运动。如图3所示，本章主要研究基于特征点轨迹的运动视频分割，其关键在于对同一个物体上轨迹进行运动建模。

已有研究表明，在仿射摄像机下，同一个运动物体上的轨迹在一个低维线性子空间上[4] 。因此基于特征点轨迹的运动视频分割问题可以转换为一个子空间聚类的问题。目前效果***的一类方法是基于自表达的方法，其将每个数据点用所有数据点的线性组合来表示，并通过优化下式得到自表达矩阵 Z*：

其中 是数据矩阵，其每一列表示一个数据点；A(X) 是一个字典矩阵，其可以通过学习得到或者直接设置为 A(X)=X； t 是选取的范数；和 分别是正则项和关于 Z 的约束集合；a > o 是一个权衡参数。可以用该自表达矩阵来定义两两轨迹点之间相似度，并用谱聚类方法得到分割。常见的方法如表 2 所示[4] 。

在理想情况下，表 2 中的方法均可完美解决子空间聚类的问题，这是因为他们均具有块对角化效应，也就是表 2 中各种方法得到的自表达矩阵 Z ，其不同类别点之间的表达系数为 0 [5] 。我们则在文献 [4] 中研究了在实际情况下，例如噪声，退化、耦合等等，什么样的方法会更好。我们发现聚集效应（见定义 1）对于子空间聚类是一种很好的性质，它使得式（1）中的优化问题隐含二阶光滑约束，从而其对于噪声更为鲁棒，此外，它还使得式（1）求解得到的 Z 中的值更为均衡，这有利于谱聚类算法，也有利于提出更有物理意义的相似性度量。定义1（聚集效应）: 给定D维数据点 ，一个自表达矩阵 具有聚集效应当且仅当
我们提出了强制聚集效应（Enforced GroupingEffect）条件，该条件大大简化了针对自表达方法的聚集效应分析。利用这一条件，还可以很容易发现具有聚集效应的新方法。进一步地，基于聚集效应的理论分析，我们提出了显示增强聚集效应的一种新方法，光滑表达（SMooth Representation）模型，记为SMR，其在人脸、手写体数字聚类以及视频运动分割等等问题上均取得了最优异的性能，其中在视频运动分割领域最重要的数据集之一Hopkins155 [6] 上的评测如表3所示。