[發明專利]一種圖像特征處理方法和裝置

在審

• 申請號: 202210030941.4
• 申請日: 2022-01-12
• 公開（公告）號: CN114387325A
• 公開（公告）日: 2022-04-22
• 發明（設計）人: 徐鑫
• 申請（專利權）人: 京東鯤鵬(江蘇)科技有限公司
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06V10/44;G06V10/74;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 郝紅玉;張春曉

1.一種圖像特征處理方法，其特征在于，包括：

利用雙目相機生成左圖像和右圖像，使用特征提取網絡提取左圖像和/或右圖像的特征，得到圖像特征；其中，所述圖像特征為左圖像特征和/或右圖像特征；

以預設代價聚合體縮放因子為步長，從初始值遍歷至所述圖像特征的最大視差，得到多個視差以構建第一代價聚合體進行聚合處理，生成第一視差圖；

基于所述圖像特征和所述第一視差圖，構建第二代價聚合體以進行聚合處理，生成第二視差圖；

使用二維卷積神經網絡，對所述第二視差圖進行精煉處理，以生成所述左圖像特征和所述右圖像特征的目標視差圖。

2.根據權利要求1所述的方法，其特征在于，在所述圖像特征為左圖像特征的情況下，所述基于所述圖像特征和所述第一視差圖，構建第二代價聚合體以進行聚合處理，包括：

對于所述左圖像特征中的任一點，獲取在所述第一視差圖中的粗略視差；其中，粗略視差為對所述任一點進行視差粗估計得到；

獲取所述任一點的橫坐標和縱坐標，計算橫坐標減去所述粗略視差的數值后的新橫坐標，判斷所述右圖像特征中是否存在與新橫坐標和縱坐標對應的點；

若不存在，則進行填充0操作，否則，將點沿橫軸正方向平移所述粗略視差個單位；其中，平移后的右圖像特征尺寸不變；

對平移后的右圖像特征與所述第一視差圖進行級聯，獲得匹配張量，之后將匹配張量在視差維度上逐單位地與所述左圖像特征相減并取絕對值，得到第二代價聚合體以進行聚合處理。

3.根據權利要求1所述的方法，其特征在于，在所述圖像特征為右圖像特征的情況下，所述基于所述圖像特征和所述第一視差圖，構建第二代價聚合體以進行聚合處理，包括：

對于所述左圖像特征中的任一點，獲取在所述第一視差圖中的粗略視差；

獲取所述任一點的橫坐標和縱坐標，計算橫坐標加上所述粗略視差的數值后的新橫坐標，判斷所述左圖像特征中是否存在與新橫坐標和縱坐標對應的點；

若不存在，則進行填充0操作，否則，將點沿橫軸負方向平移所述粗略視差個單位；其中，平移后的左圖像特征尺寸不變；

對平移后的左圖像特征與所述第一視差圖進行級聯，獲得匹配張量，之后將匹配張量在視差維度上逐單位地與所述右圖像特征相減并取絕對值，得到第二代價聚合體以進行聚合處理。

4.根據權利要求1所述的方法，其特征在于，在所述圖像特征包括左圖像特征和右圖像特征的情況下，所述基于所述圖像特征和所述第一視差圖，構建第二代價聚合體以進行聚合處理，包括：

同時確定左/右圖像特征中任一個通道的高度和寬度，創建值為1到寬度的一維矩陣，在垂直方向上重復高度次，以生成一個空二維張量；

獲取所述任一通道中每個點在所述第一視差圖中的粗略視差，將粗略視差按照點位置逐個賦值到所述空二維張量上，得到左/右圖像特征的二維張量；以及在右圖像特征的二維張量最左側補0；

對所述左圖像特征的二維張量取負值并進行激活處理，得到映射值，以所述映射值為橫坐標，結合每個點在所述左圖像特征的縱坐標，生成映射到所述右圖像特征二維張量上的映射坐標；

基于映射坐標構建匹配張量，將所述匹配張量在視差維度上與所述左圖像特征相減并取絕對值，得到第二代價聚合體以進行聚合處理。

5.根據權利要求2-4中任一項所述的方法，其特征在于，所述方法還包括：

基于所述粗略視差、所述預設代價聚合體縮放因子、預設卷積網絡適應因子，生成與所述任一點對應的視差區間；

以1為步長，從視差區間的最左端開始選取多個視差，統計多個視差的數量，得到第二代價聚合體在視差維度上的長度。

6.根據權利要求5所述的方法，其特征在于，第一代價聚合體在視差維度上的長度，為所述多個視差的數量加1。

7.根據權利要求6所述的方法，其特征在于，所述方法還包括：

使用第一三維卷積神經網絡對第一代價聚合體進行聚合處理，得到第一張量，進而在視差維度上對所述第一張量進行回歸處理；以及

使用第二三維卷積神經網絡對第二代價聚合體進行聚合處理，得到第二張量，進而在視差維度上對所述第二張量進行回歸處理。