默认Pipline中的组件算法

AliceVision | Photogrammetric Computer Vision Framework

AliceVision is a Photogrammetric Computer Vision framework for 3D Reconstruction and Camera Tracking.

https://alicevision.org/#photogrammetry/natural_feature_extraction

• 下图是Meshroom默认pipline，其中实线连接的参数是初始设定的值；虚线连接的参数是实现设定的值。

1.1. Camera Init

1.2. Feature Extraction 特征提取

• 论文：常用特征检测方法调研。A survey of recent advances in visual feature detection, Yali Li, Shengjin Wang, Qi Tian, Xiaoqing Ding, 2015

• SIFT（Scale-invariant feature transform 尺度不变特征转换）的最初目标是在第一幅图像中提取可辨识的斑块（discriminative patches），这些斑块可以与第二幅图像的可辨识斑块进行比较，而不考虑旋转、平移和比例。由于相关的细节只存在于某一比例，所以提取的斑块是以稳定的兴趣点为中心。在某种程度上，可以利用SIFT的不变性来处理图像采集过程中视点变化时发生的图像变动。
SIFT 特征
 尺度不变特征变换 (Scale-invariant feature transform, SIFT) 是计算机视觉中一种检测、描述和匹配图像局部特征点的方法，通过在不同的尺度空间中检测极值点或特征点 (Conrner Point, Interest Point) ，提取出其位置、尺度和旋转不变量，并生成特征描述子，最后用于图像的特征点匹配。SIFT 特征凭借其良好的性能广泛应用于运动跟踪 (Motion tracking) 、图像拼接 (Automatic mosaicing) 、3D 重建 (3D reconstruction) 、移动机器人导航 (Mobile robot navigation) 以及目标识别 (Object Recognition) 等领域。 为了使检测到的特征点具备尺度不变性，使能够在不同尺度检测到尽可能完整的特征点或关键点，则需要借助尺度空间理论来描述图像的多尺度特征。相关研究证明高斯卷积核是实现尺度变换的唯一线性核。因此可用图像的高斯金字塔表示尺度空间，而且尺度规范化的 LoG 算子具有尺度不变性，在具体实现中，可用高斯差分 (DoG) 算子近似 LoG 算子，在构建的尺度空间中检测稳定的特征点。 尺度空间理论的基本思想是：在图像处理模型中引入一个被视为尺度的参数，通过连续变化尺度参数获取多尺度下的空间表示序列，对这些空间序列提取某些特征描述子，抽象成特征向量，实现图像在不同尺度或不同分辨率的特征提取。尺度空间中各尺度图像的模糊程度逐渐变大，模拟人在由近到远时目标在人眼视网膜上的成像过程。而且尺度空间需满足一定的不变性，包括图像灰度不变性、对比度不变性、平移不变性、尺度不变性以及旋转不变性等。在某些情况下甚至要求尺度空间算子具备仿射不变性。 尺度空间的表示 L(x,y,\sigma) = G(x,y,\sigma) * I(x,y) \\ G(x,y,\sigma) = \frac{1}{2\pi\sigma^2}e^{-\frac{x^2+y^2}{2\sigma^2}} 式中， 是图像的空间坐标，高斯函数

https://lsxiang.github.io/Journey2SLAM/computer_vision/SIFT/

• 论文：Distinctive image features from scale-invariant keypoints, David G. Lowe, 2004
• SIFT详细解释：Anatomy of the SIFT Method, Ives Rey Otero, Mauricio Delbracio, 2014

• AKAZE（Accelerated-KAZE）可以成为在挑战性条件（如皮肤）的提取特征上表现良好
• 论文：AKAZE Fast explicit diffusion for accelerated features in nonlinear scale spaces, P.F. Alcantarilla, J. Nuevo, A. Bartoli, 2013
• 优点：能够比SIFT匹配更广的角度。
• 缺点：可能会提取很多特征，重新划分也不一定好。

• CCTag 是一种具有3或4个冠的标记类型。可以在拍摄过程中把标记放在场景中，以自动重新定位，并将场景的比例调整到已知的大小。它对运动模糊、景深、遮挡的影响很强。要注意在CCTags周围有足够的白边。
• 需要背景标记辅助
CCTag Library - CCTag documentation
The image placed in between the markers can be then rectified in order to visually assess the quality of the estimated homography. Thanks to the accurate estimation of the image of the four centres of the concentric circles provided by CCTag, the homography can be robustly estimated and the rectified image is not affected by any significant jittering, whereas the rectified image computed with the ARTKPlus homography is more unstable.

https://cctag.readthedocs.io/en/latest/index.html
• 论文：https://cctag.readthedocs.io/en/latest/bibliography.html#id2

1.3. Image Matching 图像匹配

• 词汇树（Vocabulary Tree）使用图像检索技术来寻找共享某些内容的图像，而不需要付出解决所有特征匹配细节的代价。每张图像都用一个紧凑的图像描述符表示，这样可以非常有效地计算所有图像描述符之间的距离。
基于词汇树的图像检索（一）：词汇树_Mewparadise的博客-CSDN博客_词汇树怎么做
从今天起准备把我的毕设的实现细节写到博客里面，一方面写一遍加深记忆，另一方面如果哪天忘记了查起来也方便 毕设题目是基于词汇树的无序图像集检索和支撑结构生成，其实提出词汇树那篇文章(Scalable Recognition with a Vocabulary Tree[1])已经是2006年的了，算是很老的文章，但是在大规模二三维重建的过程中快速的图像检索还是有意义的。 ...

https://blog.csdn.net/Mewparadise/article/details/44724569

• 论文：Scalable Recognition with a Vocabulary Tree, David Nister and Henrik Stewenius, CVPR 2006

• 序列（Sequential） 如果输入是一个视频序列，可以使用这个选项在它们之间随着时间的推移连接图像。

• 序列+词汇树（SequentialAndVocabularyTree）可以实现不同时间的关键帧之间的连接。

• Exhaustive 输出所有图像对。

• Frustum 如果图像有已知的姿势，则计算摄像机之间的交点frustum，以创建图像对的列表

• FrustumOrVocabularyTree 如果图像有已知的姿势，使用frustum交集，否则使用VocabularuTree。

1.4. Feature Matching 特征匹配

1. 测光匹配（Photometric Matches） 它在两幅输入图像的特征描述符集之间进行测光匹配。对于第一幅图像上的每个特征描述符，它在第二幅图像中寻找最接近的两个描述符，并在它们之间使用一个相对阈值。这个假设去除了重复结构的特征，但已被证明是一个稳健的标准。[Lowe2004]
• 在第二幅图像中为每个特征找到两个最接近的描述符，使用蛮力的方法计算密集，但存在许多优化的算法。最常见的是近似最近邻（Approximate Nearest Neighbor，ANN）算法，也有级联哈希算法（Cascading Hashing）。
• Fast Approximate Nearest Neighbors with Automatic Algorithm Configuration. Muja, Marius, and David G. Lowe. VISAPP (1). 2009

2. 几何过滤（Geometric Filtering） 它对光度匹配的候选人进行几何过滤。在离群检测框架RANSAC（RANdom SAmple Consensus）中，通过使用极点几何来进行几何过滤。它随机选择一小部分特征对应关系并计算fundamental or essential matrix，然后检查验证该模型的特征数量并通过RANSAC框架进行迭代。

1.5. Structure From Motion 运动推断结构（稀疏重建）

• 论文：Fast and Accurate Image Matching with Cascade Hashing for 3D Reconstruction Jian Cheng, Cong Leng, Jiaxiang Wu, Hainan Cui, Hanqing Lu. CVPR 2014

1. Fuse 2-View Matches into Tracks 将双视角匹配的图像融合到轨迹中 将图像对之间的所有特征匹配融合为轨迹。每条轨迹代表空间中的一个候选点，从多个相机中可见。然而，在管道的这一步，它仍然包含许多离群值。

2. Initial Image Pair 初始图像对 选择最佳的初始图像对。这一选择对于最终重建的质量至关重要。所以这个 图像对 应该最大限度地增加匹配的数量和每个图像中相应特征的再分配。（this image pair should maximize the number of matches and the repartition of the corresponding features in each image.）但同时，相机之间的角度也应该足够大，以提供可靠的几何信息。

3. Initial 2-View Geometry 初始的双视角几何学 计算所选2幅图像之间的基本矩阵（fundamental matrix），并认为第一幅图像是坐标系的原点。

4. Triangulate 三角测量 用两个第一台相机的位姿，将相应的2D特征三角化为3D点。

5. Next Best View Selection 下一个最佳视图选择 选择所有与已经三维重建的特征有足够关联的图像。

6. Estimate New Cameras 估计新相机 基于这些2D-3D关联，它对这些新相机中的每一个进行切除。切除 是 RANSAC框架 下的透视-点算法（Perspective-n-Point algorithm，PnP），用来找到验证大多数特征关联的相机位姿。在每个摄像机上，都要进行非线性最小化（non-linear minimization）来完善姿势。
• 论文：A Novel Parametrization of the P3P-Problem for a Direct Computation of Absolute Camera Position and Orientation. Kneip, L.; Scaramuzza, D. ; Siegwart, R. CVPR 2011
• 论文：EPnP: An Accurate O(n) Solution to the PnP Problem. V. Lepetit and F. Moreno-Noguer and P. Fua, IJCV 2009

7. Triangulate 三角测量 从这些新的相机姿态中，一些轨迹会被2个或更多被切除的相机所看到，并对它们进行三角测量。

8. Optimize 优化 执行捆绑调整以完善一切：所有摄像机的外在参数和内在参数，以及所有三维点的位置。通过删除所有具有高重投影误差（high reprojection error）或观测值之间角度不足的观测值来过滤捆绑的调整。

9. Loop from 5 to 9 步骤5到9循环 由于我们对新的点进行了三角测量，就得到了更多的候选图像用于下一个最佳视图的选择，之后从步骤5到9反复进行迭代。增加摄像机，将新的二维特征三角化为三维点，并删除变得无效的三维点，直到无法定位新的视图。

• acransac：Adaptive structure from motion with a contrario model estimation. Pierre Moulon, Pascal Monasse, and Renaud Marlet. ACCV 2012

• ransac：Automatic homographic registration of a pair of images, with a contrario elimination of outliers. Moisan, Lionel, Pierre Moulon, and Pascal Monasse. IPOL 2012

• 无序图片匹配加速：Unordered feature tracking made fast and easy, Pierre Moulon and Pascal Monasse, CVMP 2012

• Efficient Structure from Motion by Graph Optimization. M. Havlena, A. Torii, and T. Pajdla. ECCV 2010

• Hierarchical structure-and-motion recovery from uncalibrated images. R. Toldo, R. Gherardi, M. Farenzena and A. Fusiello. CVIU 2015

• Multistage SFM: Revisiting Incremental Structure from Motion, Rajvi Shah, Aditya Deshpande, P J Narayanan, 2014

1.6. Prepare Dense Scene 稠密场景

1.7. Depth Map 深度估计

• Block Matching

• Semi-Global Matching (SGM) ：Accurate and efficient stereo processing by semi-global matching and mutual information, H. Hirschmüller. CVPR 2005 ←Meshroom使用的方法

• Stereo processing by semiglobal matching and mutual information, H. Hirschmüller, 2008

• ADCensus：On building an accurate stereo matching system on graphics hardware. Xing, M., Xun, S., Mingcai Z., Shaohui J., Haitao, W., Xiaopeng Z., 2011

1.8. Depth Map Filter 深度图过滤

1.9. Meshing 网格重建

• 论文：Multi-view reconstruction preserving weakly-supported surfaces, Michal Jancosek, Tomas Pajdla, CVPR 2011

• 论文：Exploiting Visibility Information in Surface Reconstruction to Preserve Weakly Supported Surfaces, Michal Jancosek, Tomas Pajdla

1.10. Mesh Filtering 网格修复

• 论文：An Experimental Comparison of Min-Cut/Max-Flow Algorithms for Energy Minimization in Computer Vision, Yuri Boykov and Vladimir Kolmogorov. 2004

1.11. Texturing 纹理重建

• 论文：Least Squares Conformal Maps for Automatic Texture Atlas Generation, Bruno Lévy, Sylvain Petitjean, Nicolas Ray, Jérome Maillot, Siggraph 2002