[發明專利]基于景深補償的視差圖像拼接方法

有效

• 申請號: 202010789913.1
• 申請日: 2020-08-07
• 公開（公告）號: CN112085653B
• 公開（公告）日: 2022-09-16
• 發明（設計）人: 朱策
• 申請（專利權）人: 四川九洲電器集團有限責任公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/12;G06T7/50;G06T7/33
• 代理公司: 成都慕川專利代理事務所(普通合伙) 51278
• 代理人: 楊艷

1.基于景深補償的視差圖像拼接方法，其特征在于，所述方法包括如下步驟：

S1：對目標場景景深進行預估，并使用Mask R-CNN圖像分割算法，根據待拼接圖像的不同景深，將不同景深下的場景進行分割；

S2：對不同景深下的場景分別提取特征點，根據特征點對待拼接的圖像中的不同景深的場景進行匹配

S3：對于不同景深的匹配到的場景，在場景的輪廓中選取N個均勻的錨點，結合步驟S2中對不同景深下場景所匹配到的特征點劃分德勞內三角形；

S4：將待拼接圖像進行尺度歸一后，對待拼接圖像的相鄰景深的場景，根據匹配到的特征點計算視差偏移向量；所述視差偏移向量采用下列公式進行獲取，

上述公式中，c代表的是不同深度場景的索引，深度估計出三個深度平面，則c＝0,1,2，c＝0代表無窮遠處的天空，C表示整幅圖像近似可以分為C個深度的場景；代表目標圖像中索引為c的場景上匹配到的第i個特征；N(c)代表索引為c的場景匹配到的特征點數目；parallax(c)代表兩幅有視差的圖像中第c個場景相對于第c-1個場景的視差偏移向量；

S5：根據步驟S4中獲取的視差偏移向量進行位置補償，并根據補償之后的特征點獲取補償之后的變換關系；所述位置補償采用

c＝1,…，C進行補償，并通過獲取補償之后的變換關系；其中，表示參考圖像的第c深度場景的第i個特征；代表參考圖像中索引為c的場景上經過位置補償之后的特征；H_c代表位置補償之前，目標圖像中索引為c的場景到參考圖像中索引為c的場景的變換矩陣；offsetH_c代表位置補償之后，目標圖像中索引為c的場景到參考圖像中索引為c的場景的變換矩陣；

S6：確定變換關系后，按照深度順序對不同景深場景的每個德勞內三角形的頂點計算變換權重，根據變換權重對參考圖像與目標圖像的不同深度場景下的每個德勞內三角形進行變換，并建立查找表；其中，所述每個德勞內三角形的變換方法為：

其中，表示視差圖像之間，索引為c的場景的第j個德勞內三角形變換時所需要的權重；S_c表示視差圖像之間，索引為c的場景的相似變換；分別表示參考圖像和目標圖像中索引為c的場景中第j個德勞內三角形的第i個頂點；分別表示變換之后的參考圖像和目標圖像中索引為c的場景中第j個德勞內三角形的第i個頂點；

S7：通過查找表對整幅圖像進行配準，隨后對配準圖像進行后處理得到最終的拼接圖像，具體包括：根據查找表按照深度順序對場景進行變換，當某一深度場景中的點位于該查找表的德勞內三角形內部時，通過查找表直接得到變換參數，進而對該點進行變換；對參考圖像和目標圖像的同一深度場景的變換之后的圖像進行圖像融合，對不同深度的融合之后的圖像直接疊加得到最終的拼接圖像。

2.根據權利要求1所述的基于景深補償的視差圖像拼接方法，其特征在于，所述步驟S1中的相機成像原理，在光軸平行的情況下，通過獲知基線和相機參數，對圖像中的場景深度進行預估，或者通過Monodepth2深度學習算法對圖像中的場景深度進行預估，根據深度關系對不同景深下的場景分割出來。

3.根據權利要求1所述的基于景深補償的視差圖像拼接方法，其特征在于，所述步驟S2中通過對不同景深的場景進行匹配。

4.根據權利要求1所述的基于景深補償的視差圖像拼接方法，其特征在于，所述步驟S3中對分割之后的場景的輪廓上選取錨點，對錨點以及不同場景匹配到的特征點之間劃分德勞內三角形。

5.根據權利要求1所述的基于景深補償的視差圖像拼接方法，其特征在于，對每個德勞內三角形的變換權重可以根據π_j的中心點與最近的3個特征點的中心的距離得到，采用柯西分布計算權重如下，計算出每個德勞內三角形π_j的變換權重之后，根據權重對德勞內三角形的頂點進行變換，并且建立查找表；

γ＝||mid(anchors^(c))-mid(kpts^(c))||²

其中kpts^(c)表示索引為c的場景的特征點；anchors^(c)表示索引為c的場景的輪廓上的錨點；

min₃(a,b)表示b集合中距離a最近的3個元素；mid(·)表示點集合的中心。