视觉感知计算是人工智能的核心技术,也是推动互联网环境下“智能制造”发展的重要支撑。点集匹配,即通过搜索建立起同一物点/特征点在两幅或多幅图像上对应点的过程,是视觉感知研究领域中一项非常重要且难度很高的基础工作,是低层视觉通往高层视觉的关键步骤之一。据统计,大约有40%的视觉感知应用依赖于点集匹配精度与效率,包括信息产业中的无人机/机器人定位与导航、制造业中的产品外观缺陷检测、遥感测绘中的土地利用变化监测与灾害预警、军事领域中的可疑目标检测识别与跟踪等热点问题。点集匹配本质上是一个NPC复杂组合优化问题,计算量非常大,且噪声、离群点和非刚性形变的存在,常造成点集匹配算法的性能大幅下降,严重制约了其工程使用。因此,研究普适高效、鲁棒性更强的点集匹配算法具有重要的理论意义和实用价值,
为解决点集匹配问题的主要技术难点,本书对图像特征点匹配、非刚性点集配准,以及非刚性图像配准等问题进行深入探讨,介绍一系列基于非参数模型的点集匹配方法,并从理论和实验上对所介绍方法进行充分的分析与性能评估。全书共6章,主要内容及各章节安排如下:
第1章对点集匹配问题进行描述和定义,介绍点集匹配算法的基本框架,并依据匹配算法的主要组成步骤对国内外研究现状和发展趋势进行详细介绍。
第2章介绍一种基于向量场一致性的点集匹配算法VFC.VFC算法将点集匹配问题转化为向量场插值问题,在正则化技术和表示定理的背景下对离群点使用隐变量进行建模,以达到对噪声和离群点扰动的高度鲁棒性。从理论上深入探讨VFC算法对图像空间变换关系采用的非参数模型在处理实际问题中的适用性,此外,将VFC算法推广到参数模型、分层运动模型和层次匹配模型上,以弥补其在特定情况下的不足。通过大量定性与定量实验以及与处于领先水平的点集匹配算法对比,验证VFC算法作为一种普适算法在解决各种点集匹配问题中的优势,包括满足单应的图像对、宽基线图像对、非刚性形变图像对、误匹配比率极高的图像对,以及三维图像对等,同时,结合匹配模型的优化求解问题,介绍一种普适的基于稀疏近似的快速算法,将一般核方法的时间和空间复杂度分别从O(N3)和O(N2)均降到O(N),并在统计学习理论背景下严格推导和证明快速算法产生的次优解与原始算法最优解的近似界,
第3章介绍非参数、自适应的多场景图像特征点匹配统一正则化模型约束LLT.将不同种类的图像形变(诸如刚性、仿射、射影、极线几何、非刚性等变换)统一在同一个最大似然模型框架与局部线性迁移约束中,实现不同应用场景下匹配问题的自适应求解。
第4章介绍一种基于鲁棒/2E估计子的点集配准算法RPM-/2E,并将其应用于非刚性稀疏点集对应问题(如非刚性点集配准和图像特征点匹配),以及非刚性稠密点集对应问题(如非刚性图像配准)。同时,介绍基于流形正则化约束的非刚性点集匹配算法,该方法能够充分挖掘物体形状的本征结构信息。为测试算法对噪声、遮挡、离群点、旋转和尺度变换的鲁棒性,在大量公共数据集上与处于领先水平的算法作定性和定量的实验对比,此外,为进行非刚性图像配准实验,对计算机图形学与图像处理领域的传统课题非刚性图像变形进行探讨,并介绍一种基于移动正则化最小二乘的非刚性图像变形算法(MRLS)。该算法可生成生动直观的变形效果且计算效率极高可以达到实时,从而不仅为图像配准算法的定量评估提供必要的实验数据,而且在动画制作、形体塑造、医学图像分析等应用中也具有潜在价值。
第5章介绍一种基于保持点集全局与局部结构特征的非刚性点集配准算法PR-GLS。该方法采用高斯混合模型进行建模,结合软指派策略将点集对应关系和变换函数放在统一框架下进行估计,从而改进配准效果。相比于RPM-/2E和其他处于领先水平的点集配准算法,PR-GLS在数据退化程度较为严重时能大大提升配准精度。
第6章介绍一种基于正则化高斯场的非刚性图像配准算法RGF。该方法针对传统多源图像配准方法依赖于线性模型的局限,通过将高斯场模型中的线性变换扩展到高维非参数模型,实现多源图像的非刚性高精准匹配。同时,将算法应用于红外与可见光人脸图像配准与识别系统,验证算法对处理图像场景中存在的非刚性形变(诸如人脸表情和姿态等的变化)的性能,结果表明匹配精度相比国际主流算法能够得到大幅提升。
点集匹配是计算机视觉理论及应用的核心关键技术之一,本书探索的非参数模型方法为点集匹配理论和应用提供了一种有效实用的解决方案。相信通过更多研究者的努力,点集匹配的理论将更加完善,应用将更为广泛。
限于作者水平,书中疏漏之处在所难免,恳请读者不吝指正。