作者：李迎松
来源：公众号@3D视觉工坊
资料来源： https://blog.csdn.net/RS _ Lys/article/details/83302323
根据Schrstein和Szeliski的总结，双目立体匹配分为匹配成本计算、成本聚合、视差计算、视差优化4个步骤。
一.匹配成本核算
匹配成本计算的目的是测量匹配的像素与候选像素之间的相关度。 无论两个像素是否是同名的点，都可以通过匹配成本函数来计算匹配成本，成本越低相关性越大，表明同名点的概率也越高。
各像素在搜索同名点之前，往往指定视差搜索范围d(dmin~dmax )。 在视差探索中将范围限定为d，用WHD(W ) w为图像的宽度，h为图像的高度)的三维矩阵c存储视差范围内的各视差中的各像素的一致世代的价值。 矩阵c通常称为DSI(disparityspaceimage )。
匹配成本的计算方法有很多，但在传统的摄影测量中，灰度绝对值差( AD，Absolute Differences ) 1、灰度绝对值差之和( SAD，Sum of Absolute Differences )、归一化相关在使用Normalizedcross )的计算机视觉中，相互信息( MI，Mutual Information )法2 ) 3，Census变换( CT，Census Transform )法4，Rank变换) Rank Rank Transform )方法6、Birrransform )方法7使用较多的不同成本计算算法各有特点，对各类数据的表达也不同，选择合适的匹配成本计算函数对于立体匹配具有重要意义
图1 ( c ( x，y，d )表示视差为d的情况下的像素( x，y ) ) ) )的DSI的示意图) ) )。
二.成本集约
成本聚合的根本目的是确保世代价值能够准确反映像素之间的相关性。 在前面的匹配成本计算中，经常只考虑局部信息，根据两个像素附近一定大小窗口中的像素信息来计算世代价值。 这很容易受到图像噪声的影响，而且如果图像位于纹理较弱或重复纹理的区域，则该世代价值很可能无法准确反映像素之间的相关性，直接表达的话，实际同名点的世代价值并不是最小的。
成本聚合建立相邻像素之间的连通性，例如，以一定的标准，相邻像素应当具有连续的视差值，并优化成本矩阵。 该优化往往是全局的，基于相邻像素的相同视差值或者相邻视差值下的迭代价值来重新计算给定视差下的每个像素的新的迭代价值，得到新的DSI，其由矩阵s表示。
事实上，成本聚集类似于一种视差传播步骤，信噪比高的区域匹配效果好，初始成本能够很好地反映相关性，获得更准确的最佳视差值，成本聚集导致信噪比低、匹配效果差的区域传播。 作为一般的成本聚合方法，有扫描线法、动态规划法、SGM算法中的路径聚合法等。
图2成本集约前后视差图的概略图
三.视差计算
视差的计算即根据成本度量后的成本矩阵s来确定每个像素的最佳视差值，并且如图2所示，选择对应于某个像素的所有视差中的视差量的世代价值的视差作为最佳视差。 一般而言，使用WTA、Winner-Takes-All。 该步骤非常简单，这意味着聚集成本矩阵s的值必须准确反映像素之间的相关性，证明之前的成本聚集步骤是立体匹配中极其重要的步骤，其直接确定算法的正确性。
图3赢家总餐( WTA )算法示意图
四.优化视差
视差优化的目的是进一步优化在先前的步骤中获得的视差图，并且改善视差图的质量。 这包括消除错误视差、适当平滑、优化子像素精度等步骤，通常采用左右一致性检验算法来消除由于遮挡和噪声导致的错误视差。 采用去除小连通区域的算法去除孤立异常点； 利用中值滤波器、双边滤波器等平滑算法对视差图进行平滑； 另外，提高视差图像质量的方法(例如，鲁棒平面拟合、亮度约束一致性( Intensity Consistent )、局部一致性约束( Locally Consistent ) )
由于WTA算法得到的视差值为全像素精度，为了得到更高的亚像素精度，需要对视差值进一步进行亚像素细分。 一般的子像素细分方法是一次二次曲线近似法，通过最优视差下的代表价值以及左右二次视差下的代表价值拟合一次二次曲线，以二次曲线的极小值点表示的视差值作为子像素视差值。 如图3所示。
图4二次曲线拟合法计算像素位置示意图
局部匹配算法的步骤一般包括匹配成本计算、成本聚集、视差计算3个步骤，全局算法包括匹配成本计算、视差计算和视差优化3个步骤，半全局算法SGM包括4个步骤
参考文献：
1.KANADE T，KANO H，KIMURA S，et al.developmentofavideo-ratestereomachine:IEEE/rsjinternationalconferenceonintellllligengene
2.KIM J，KOLMOGOROV V，zb IHR.visualcorrespondenceusingenergyminimizationandmutualinformation:ieeinternationalconalconfererencence 2003 2008 [ c ].3.egna LG.mutualinformationasastereocorrespondencemeasure [ j ].technical reports，2000. 4.MA L，LI J ma et al.amodifiedcensustransformbasedontheneighborhoodinformationforstereomatchingalgorithm:seventhinternationalconferenconfererencenceoooore Graphics，2013[C]. 5.BAIK Y K，JO J H， leekm.fastcensustransform-basedstereoalgorithmusingsse2: the 12th Korea-japanjointworkshoponfrontiersofcomputervision， tapanjointworkshoponfrontiersofcomputervision Japan，2006[C]. 6.GU Z，SU X，LIU Y，et al.localstereomatchingwithadaptivaptivion ranktransformanddisparitycalibration [ j ].patternrecognitionletters，2008，29 (9):1230-1235. 7.BANKS J， benna moun m et al.aconstrainttoimprovethereliabilityofstereomatchingusingtheranktransform:acoustics，Speech，and signal procece 1999.on 1999 ieeinternationalconference，1999[C]. 8.BIRCHFIELD S，tomasic.apixeldissimilaritymeasurethatisinsinsensenssivensitivensivensitivetive
备注：本文作者松博在哔哩哔哩制作的立体匹配直播视频：
立体匹配理论与实战
本文只进行学术共享，如有侵权请联系删除文。
下载1
在“3D视觉工作室”公众号后台回复“3D视觉”，即可下载3D视觉相关资料“干货”。 涉及摄像机标定、三维重建、立体视觉、贫民窟、深度学习、点云后处理、多视图几何图形等方向。
下载2
在“3D视觉工坊”公众号后台回复：“3D视觉优码”为：结构光、标定源代码、缺陷检测源代码、深度估计与深度互补源代码、点云处理相关源代码、立体匹配源代码
下载3
回复“3D视觉工作室”公众号后台：摄像头标定允许下载自己的摄像头标定学习课件和视频网站； 立体匹配允许您下载自己的立体匹配学习课件和视频网站。
