[發明專利]一種圖像特征處理方法和裝置

在審

• 申請號: 202210030941.4
• 申請日: 2022-01-12
• 公開（公告）號: CN114387325A
• 公開（公告）日: 2022-04-22
• 發明（設計）人: 徐鑫
• 申請（專利權）人: 京東鯤鵬(江蘇)科技有限公司
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06V10/44;G06V10/74;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 郝紅玉;張春曉

本發明公開了一種圖像特征處理方法和裝置，涉及計算機技術領域。該方法的具體實施方式包括：利用雙目相機生成左圖像和右圖像，使用特征提取網絡提取左圖像和/或右圖像的特征，得到圖像特征；以預設代價聚合體縮放因子為步長，從初始值遍歷至圖像特征的最大視差，得到多個視差以構建第一代價聚合體進行聚合處理，生成第一視差圖；基于圖像特征和第一視差圖，構建第二代價聚合體以進行聚合處理，生成第二視差圖；使用二維卷積神經網絡，對第二視差圖進行精煉處理，以生成左圖像特征和右圖像特征的目標視差圖。該實施方式基于由粗到精的兩段非全程代價聚合方法，計算左右圖像特征的視差圖，解決現有3D代價聚合網絡速度慢的問題，且保持有足夠精度。

技術領域

本發明涉及計算機技術領域，尤其涉及一種圖像特征處理方法和裝置。

背景技術

立體匹配stereo matching，通常也稱為視差估計，旨在立體圖像中找到一對相關聯的匹配點，是自動駕駛視覺技術的重要子類。由于多種多樣的實際問題，例如大的弱紋理區域(墻壁，天空和其它背景)、遮擋、反射面以及其他因素，使得立體匹配任務具有挑戰性，其難點在于消除匹配圖像的歧義性和模糊性。

現有通常采用代價聚合方式解決上述難點：GC-Net構建了代價聚合體，并使用3D卷積神經網絡對代價聚合體進行了信息聚合；PSMNet在GC-Net的基礎上做出了改進，但仍使用前述構建代價聚合體的結構，這種構建代價聚合體并使用3D卷積神經網絡來進行聚合的網絡框架影響深遠，優點是精度極高，截至目前仍然被學者們廣泛使用與研究。

在實現本發明的過程中，發明人發現現有技術至少存在如下問題：由于構建了龐大的代價聚合體并使用3D卷積神經網絡來聚合，因而框架較為龐大(相對于全程均使用2D卷積神經網絡而言)，耗時較長。另外，傳統采用0～最大視差之間的所有值來構建代價聚合體的方式，雖可以構建足夠多的代價信息，使網絡具有足夠高的精度，但通常也是整個網絡推斷速度較慢的關鍵因素。

發明內容

有鑒于此，本發明實施例提供一種圖像特征處理方法和裝置，至少能夠解決現有PSMNet框架過于龐大，且使用0～最大視差之間的所有值構建代價聚合體，會導致網絡推斷速度較慢的現象。

為實現上述目的，根據本發明實施例的一個方面，提供了一種圖像特征處理方法，包括：利用雙目相機生成左圖像和右圖像，使用特征提取網絡提取左圖像和/或右圖像的特征，得到圖像特征；其中，所述圖像特征為左圖像特征和/或右圖像特征；以預設代價聚合體縮放因子為步長，從初始值遍歷至所述圖像特征的最大視差，得到多個視差以構建第一代價聚合體進行聚合處理，生成第一視差圖；基于所述圖像特征和所述第一視差圖，構建第二代價聚合體以進行聚合處理，生成第二視差圖；使用二維卷積神經網絡，對所述第二視差圖進行精煉處理，以生成所述左圖像特征和所述右圖像特征的目標視差圖。

可選的，其特征在于，在所述圖像特征為左圖像特征的情況下，所述基于所述圖像特征和所述第一視差圖，構建第二代價聚合體以進行聚合處理，包括：對于所述左圖像特征中的任一點，獲取在所述第一視差圖中的粗略視差；其中，粗略視差為對所述任一點進行視差粗估計得到；獲取所述任一點的橫坐標和縱坐標，計算橫坐標減去所述粗略視差的數值后的新橫坐標，判斷所述右圖像特征中是否存在與新橫坐標和縱坐標對應的點；若不存在，則進行填充0操作，否則，將點沿橫軸正方向平移所述粗略視差個單位；其中，平移后的右圖像特征尺寸不變；對平移后的右圖像特征與所述第一視差圖進行級聯，獲得匹配張量，之后將匹配張量在視差維度上逐單位地與所述左圖像特征相減并取絕對值，得到第二代價聚合體以進行聚合處理。