[發明專利]一種基于樹形神經網絡結構的視差獲取方法、存儲介質及計算設備

有效

• 申請號: 202010534851.X
• 申請日: 2020-06-12
• 公開（公告）號: CN111915503B
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 杜娟;余政銘;湯永超;譚瀚儒;孟靖雄
• 申請（專利權）人: 華南理工大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/0464;G06N3/08;G06T5/50
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 王東東

本發明公開了一種基于樹形神經網絡結構的視差獲取方法、存儲介質及計算設備，包括，通過傅里葉變換對圖像進行去噪預處理，然后利用樹形深度神經網絡提取不同分辨率的圖像特征，進而將左右圖的不同分辨率的特征圖通過分級代價聚合網絡獲取視差圖。相比與其它方法，這種方法可以解決圖像中反光表面與遮擋區域對視差獲取結果的影響。

技術領域

本發明涉及圖像處理領域，具體涉及一種基于樹形神經網絡結構的視差獲取方法、存儲介質及計算設備。

背景技術

隨著社會的科技進步，立體匹配技術的發展日新月異，傳統的匹配方法獲取視差圖的效果與速度無法滿足現在高性能與準確度的要求。而深度學習的發展，給立體匹配帶來了新的解決方案。基于深度學習的算法很適合用于立體匹配技術。

目前，大部分立體匹配算法對于反光區域及遮擋區域的處理效果并不好，反光區域會使最后的視差結果與實際有較大的差別，而遮擋區域的像素點由于只出現在一張圖片中，在另一圖片沒有出現，因此視差計算較為困難。從圖像處理角度看，反光表面可與其它噪音視為圖像噪音，利用圖像預處理去噪。而從算法與人的視覺類比角度看，遮擋區域則必須充分利用遮擋區域附近的圖像信息來計算遮擋像素點的視差值。

發明內容

為了解決現有技術中反光表面與遮擋區域對視差獲取的影響，本發明第一個目的提出一種基于樹形神經網絡結構的視差獲取方法，相比于現有的方法更具有準確性和魯棒性。

本發明的第二個目的是提供一種存儲介質。

本發明的第三個目的是提供一種計算設備。

本發明第一個目的采用如下技術方案：

一種基于樹形神經網絡結構的視差獲取方法，包括如下步驟：

S1圖像預處理，具體為：分別對左圖L及右圖R進行傅里葉變換，對圖像進行濾波，再做逆變換，得到兩張圖像L_p與R_p；

S2通過樹形神經網絡提取圖像特征，左圖L_p和右圖R_p分別得到八個不同分辨率的特征圖F₀,F₁,F₂,F₃,F₄,F₅,F₆,F₇；

S3將得到的八個不同分辨率特征圖作為輸入通過分級代價聚合網絡，最后得到精細化后的最終視差圖；

S4每個像素選擇最小代價值對應的視差最為該像素的視差，得到視差圖D。

所述樹形神經網絡類似數據結構中的二叉樹，除了末節點每個節點都有兩個子節點。

所述兩個子節點分別為左子節點及右子節點，左子節點卷積核為3*3，步長為1，右子節點卷積核為5*5，步長為2，通過3層樹結構，最后得到2³＝8個不同分辨率的特征圖，最終得到8個不同分辨率的特征圖：F₀,F₁,F₂,F₃,F₄,F₅,F₆,F₇,從F₀到F₇分辨率由大到小。

所述S3將得到的八個不同分辨率特征圖作為輸入通過分級代價聚合網絡，最后得到精細化后的最終視差圖，具體為：