[發明專利]一種機器人視覺立體匹配方法

有效

• 申請號: 202110304658.1
• 申請日: 2021-03-23
• 公開（公告）號: CN112991421B
• 公開（公告）日: 2023-08-08
• 發明（設計）人: 王耀南;安果維;毛建旭;朱青;張輝;曾凱
• 申請（專利權）人: 湖南大學
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06V10/44;G06V10/74;G06V10/80
• 代理公司: 長沙市護航專利代理事務所(特殊普通合伙) 43220
• 代理人: 莫曉齊

1.一種機器人視覺立體匹配方法，其特征在于，包括以下步驟：

步驟1、獲取畸變校正與立體校正后的待匹配雙目圖像；

步驟2、改進傳統的基于梯度的匹配代價計算方式，將x,y方向的梯度進行融合；

步驟3、將SAD和MCT匹配代價計算方式進行融合，其中，SAD表示待匹配雙目圖像中待匹配像素鄰域內所有像素的灰度差絕對值之和，MCT表示待匹配雙目圖像中支持窗口中心像素為像素均值的改進的census變換；

步驟4、將改進的基于梯度的匹配代價計算方式與SAD和MCT匹配代價計算方式進行再一次融合，得到最終的匹配代價計算方式；

步驟5、將待匹配雙目圖像進行下采樣，生成圖像金字塔；

步驟6、在生成的圖像金字塔的每個尺度的圖像上，生成基于梯度而尺寸大小變化的自適應窗口；

步驟7、通過步驟4的匹配代價計算方式，得到每個尺度的圖像對應的視差空間圖，對每個視差空間圖利用步驟6得到的自適應窗口進行滑動，并在自適應窗口內進行引導濾波，即為每個尺度的代價聚合過程；

步驟8、將步驟7得到的每個尺度的代價聚合結果進行多尺度聚合，得到最終的代價聚合結果；

步驟9、利用勝者為王WTA的方法計算步驟8中代價聚合結果，得到像素的視差值；

步驟10、利用自適應權重中值濾波，左右一致性檢測方法對得到的視差值進行優化，得到最終的視差結果，該視差結果即為最終的立體匹配結果；

所述步驟2具體表現如下：

設定已知x,y方向的梯度為其中，為在x方向的計算梯度操作，為在y方向的計算梯度操作，G_R為在三通道圖像中像素在R通道的值，G_G為在三通道圖像中像素在G通道的值,G_B為在三通道圖像中像素在B通道的值,進而得到改進的基于梯度的匹配代價計算公式：

式中，p表示像素，d表示視差值，α表示在梯度代價中y方向的梯度所占的比重，為設定值，表示像素p在左圖中在x方向的梯度值，表示像素p-d在右圖中在x方向的梯度值，表示像素p在左圖中在y方向的梯度值，表示像素p-d在右圖中在y方向的梯度值，τ₁、τ₂均表示設置的截斷值；

所述步驟3中SAD匹配代價計算為其中，I_l(p)表示像素p在左圖中三個通道數值之和，I_r(p-d)表示像素p-d在右圖中三個通道數值之和，N_P表示以像素p為中心的鄰域，MCT的匹配代價計算為C_mcent(p,d)＝Hamming(C_cl(p),C_cr(p-d))，其中，Hamming表示漢明距離，具體操作為對C_cl(p)與C_cr(p-d)進行異或運算，統計結果為1的個數，C_cl(p)表示像素p在左圖進行變換后得到的字符串，C_cr(p-d)表示像素p-d在右圖進行變換后得到的字符串；

所述MCT匹配代價計算方法過程如下：

首先，將鄰域像素與中心像素比較得到布爾值，并將布爾值映射到一個比特串中，中心像素值為鄰域窗口內所有像素的均值，得到其中C_c(p)表示對像素p進行變換操作之后得到的字符串，表示按位連接，N_P表示p的鄰域，表示鄰域所有像素的均值，I(p)表示像素p的值，為三個通道數值之和；

然后，取兩個比特串的漢明距離得到MCT匹配代價計算，其中漢明距離即兩個比特串的對應位不相同的數量，具體為將兩個比特串進行異或運算，在統計異或運算結果的比特位中不為1的個數，得到的MCT匹配代價計算方式為

C_mceat(p，d)＝Hamming(C_cl(p)，C_cr(p-d))；

所述步驟4中得到的最終的匹配代價計算方式為：

式中，λ_SAD表示SAD匹配代價計算方式的調控參數，λ_mcent表示MCT匹配代價計算方式的調控參數，λ_g表示改進的基于梯度的匹配代價計算方式的調控參數，λ_SAD、λ_mcent和λ_g均為設定值；

所述步驟6具體表現為：

步驟a:對待匹配雙目圖像分別計算出水平方向與豎直方向的梯度g_x與g_y，計算方式為以像素p為中心的初始平滑窗口的方向為θ⁰(i,j)，其計算方式為θ⁰(i,j)＝arctan(g_(y)(i,j)/g_(x)(i,j))，i表示像素p的橫坐標值，j表示像素p的縱坐標值，g_(x)(i,j)表示像素p在x方向的梯度，g_(y)(i,j)表示像素p在y方向的梯度，設初始窗口的尺寸為w⁰(i,j)與H⁰(i,j)，w⁰(i,j)表示初始窗口的寬，H⁰(i,j)表示初始窗口的高，其計算方式為a表示平滑窗口中最大的方形窗口尺寸；

步驟b：計算窗口內水平方向與豎直方向的梯度代數和和計算方式為其中，k表示水平方向單位數值，l表示豎直方向單位數值，g_x(i+k,j+l)表示坐標為(i+k,j+l)的像素在水平方向的梯度，g_y(i+k,j+l)表示坐標為(i+k,j+l)的像素在豎直方向的梯度，L為該自適應窗口，窗口方向依據梯度代數和更新，計算方式為，

步驟c：計算窗口內水平方向與豎直方向的梯度絕對值和與窗口尺寸依據梯度絕對值和更新，梯度絕對值和計算方式為窗口尺寸計算方式為其中，w^m(i,j)表示自適應窗口在水平方向的尺寸，H^m(i,j)表示自適應窗口在豎直方向的尺寸，θ^m(i,j)表示自適應窗口的方向；

步驟d：當自適應窗口尺寸滿足條件時，停止更新窗口的尺寸與方向，其中，w^m+1(i,j)表示自適應窗口鄰域水平方向的尺寸，H^m+1(i,j)表示自適應窗口鄰域豎直方向的尺寸。