[發明專利]一種基于自監督學習的雙目立體視覺視差濾波方法和裝置

在審

• 申請號: 202110137271.1
• 申請日: 2021-02-01
• 公開（公告）號: CN113362462A
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 楊力;張月斕;羅哉
• 申請（專利權）人: 中國計量大學
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州賽科專利代理事務所(普通合伙) 33230
• 代理人: 陳俊波

本申請涉及一種基于自監督學習的雙目立體視覺視差濾波方法和裝置，包括：步驟1：在待處理圖像上取一個像素點P，以所述像素點P為中心取一塊矩形區域，將所述像素點P的坐標加上偏移量d，得到像素點M，以所述像素點M為中心在同一幅圖像上取同樣大小的一塊矩形區域；步驟2：重復步驟1，得到兩個矩形區域作為一對訓練樣本，取d₁作為該樣本對的標簽；步驟3：重復步驟1和步驟2，得到一定數量的訓練樣本對和對應標簽；步驟4：將步驟3所述訓練樣本對和對應標簽輸入卷積神經網絡模型，計算損失函數，得到所述卷積神經網絡模型；步驟5：判斷兩個樣本對是否為匹配，如果不匹配，將所述像素認定為噪點進行濾除。

技術領域

本申請涉及計算機視覺領域，特別是涉及一種基于自監督學習的雙目立體視覺視差濾波方法和裝置。

背景技術

計算機視覺是一項關于如何運用照相機和計算機來獲取生產經營所需的數據與信息的技術。隨著計算機視覺技術的發展，計算機視覺在各種場景中都得到了廣泛應用。雙目立體視覺模擬人類的視覺系統，是計算機視覺領域重要分支。雙目立體視覺技術是基于視差原理并利用成像設備從不同的位置獲取被測物體的兩幅圖像，通過計算圖像對應點間的位置偏差，來獲取物體三維幾何信息。目前雙目立體視覺中的匹配過程容易產生誤匹配，造成三維點云中出現噪點，這對三維幾何信息的獲取十分不利。其中有兩種典型的情況容易發生誤匹配：(1)當相機拍攝到近處的區域時，正確匹配點超過設定的最大視差，產生難以消除的誤匹配。(2)極線校正不準，使得對應點不在一條水平線上，也極易造成誤匹配。對于這種情況，現有技術通過設定更大的最大視差等方法進行解決，但是會對計算效率產生影響，使計算速度變慢，并且對計算機的內存需求較大。同時，一般傳統的視差濾波方法對這些誤匹配的處理存在一定的局限性。因此需要對圖像進行濾波來濾除噪點。

目前針對相關技術中雙目立體視覺中的匹配過程容易產生誤匹配而造成三維點云中出現噪點的問題，尚未提出有效的解決方案。

發明內容

本申請實施例提供了一種基于自監督學習的雙目立體視覺視差濾波方法、裝置、電子裝置和存儲介質，以至少解決相關技術中雙目立體視覺中的匹配過程容易產生誤匹配而造成三維點云中出現噪點的問題。

第一方面，本申請實施例提供了一種基于自監督學習的雙目立體視覺視差濾波方法，包括：

步驟1：在待處理圖像上取一個像素點P，以所述像素點P為中心取一塊矩形區域，將所述像素點P的坐標加上偏移量d，得到像素點M，以所述像素點M為中心在同一幅圖像上取同樣大小的一塊矩形區域，其中，所述待處理圖像為通過雙目相機采集到的左圖和右圖，所述坐標偏移差值d為二維向量，包含水平偏移量d1和垂直偏移量d2；

步驟2：重復步驟1，得到兩個矩形區域作為一對訓練樣本，取d₁作為該樣本對的標簽；

步驟3：重復步驟1和步驟2，得到一定數量的訓練樣本對和對應標簽；

步驟4：將步驟3所述訓練樣本對和對應標簽輸入卷積神經網絡模型，計算損失函數，得到所述卷積神經網絡模型，所述損失函數：

其中，d₀為水平偏移量閾值，λ為權重，L_match為交叉熵損失函數，L_d為歐幾里得損失函數；

步驟5：通過立體匹配算法得到所述待處理圖像左圖每個像素點在右圖中的匹配點，以兩個所述匹配點為中心，分別在左圖和右圖各取一矩形區域形成樣本對，將所述樣本對輸入卷積神經網絡模型，得到該樣本對是否匹配，如果不匹配，將所述像素認定為噪點進行濾除。

在其中一個實施例中，所述交叉熵損失函數的計算方法為：

L_match＝-(y_dlog(p)+(1-y_d)(1-log(p)))，