[發明專利]全景深度估計方法、裝置、終端設備及存儲介質

有效

• 申請號: 202110262904.1
• 申請日: 2021-03-11
• 公開（公告）號: CN112991207B
• 公開（公告）日: 2022-11-15
• 發明（設計）人: 常青玲;崔巖;戴成林;胡昊;任飛;李敏華;楊鑫
• 申請（專利權）人: 五邑大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06V10/40;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 梁國平

本發明公開了一種全景深度估計方法、裝置、終端設備及存儲介質，所述方法包括：采集全景圖像；對所述全景圖像進行預處理，得到上部圖像、下部圖像和極角；利用所述上部圖像、所述下部圖像和所述極角得到初始代價體；對所述初始代價體進行處理，以得到視差圖像；對所述視差圖像進行優化處理，得到深度圖像。根據本發明實施例的技術方案，能夠減少圖像處理過程中的畸變，提高了深度估計的準確度。

技術領域

本發明涉及圖像處理領域，特別涉及一種全景深度估計方法、裝置、終端設備及存儲介質。

背景技術

傳統的基于立體匹配的雙目深度估計算法可大致分為局部(local method)和全局(global method)，局部算法可以更快的計算出匹配結果，但其受到環境的影響且魯棒性較低；全局立體匹配算法能夠計算出更具有全局上下文信息的視差，但是需要引入到復雜的優化問題，總的來說，傳統的立體匹配算法步驟可分為：匹配代價計算、代價聚合、視差估計、視差優化。

隨著深度學習在立體匹配算法上的發展，基于學習的方法(learning basedmethods)越來廣泛，比如可學習的匹配代價和代價回歸等，這種非端到端的深度學習算法相較于傳統算法有很好的性能提升，但是其計算量較大且感受野有限、缺乏上下文(context)信息。相教于非端到端(Non-end-to-end)的算法，端到端(end-to-end)算法更容易設計且具有更好的活力和發展前景,但其對環境配置要求較高，需要真實的標注數據。目前端到端算法主要分為二維編解碼機構(2D encoder-decoder structure)和三維正則化結構(3D regularization structure)，其中三維正則化結構以輸入源分又可分為以普通圖像對為輸入源和以全景圖為輸入源，兩者的網絡結構流程大致相同，但全景圖相較于普通圖像來說，存在大量畸變且幾何關系并不明顯。

發明內容

本發明旨在至少解決現有技術中存在的技術問題之一。

為此，本發明提出一種全景深度估計方法，能夠減少圖像處理過程中的畸變，提高了深度估計的準確度。

本發明還提出一種應用上述全景深度估計方法的全景深度估計裝置。

本發明還提出一種應用上述全景深度估計方法的終端設備。

本發明還提出一種應用上述全景深度估計方法的計算機可讀存儲介質。

根據本發明第一方面實施例的全景深度估計方法，包括：

采集全景圖像；

對所述全景圖像進行預處理，得到上部圖像、下部圖像和極角；

利用所述上部圖像、所述下部圖像和所述極角得到初始代價體；

對所述初始代價體進行處理，以得到視差圖像；

對所述視差圖像進行優化處理，得到深度圖像。

根據本發明實施例的全景深度估計方法，至少具有如下有益效果：首先采集全景圖像，然后對全景圖像進行預處理，得到了上部圖像、下部圖像和極角；在圖像處理的過程中加入極角這一因素，能夠很好地減少圖像處理過程中產生的畸變，從而提高了深度估計的準確度；并且將由初始代價體得到的視差圖像進行優化處理，從而能夠得到精準度較高的深度圖像。

根據本發明的一些實施例，所述利用所述上部圖像、所述下部圖像和所述極角得到初始代價體，包括：

利用權重共享神經網絡對所述上部圖像、所述下部圖像和所述極角進行特征提取，以得出分別相對應的上部特征圖像、下部特征圖像和極角特征信息；

將所述上部特征圖像和所述下部特征圖像分別與所述極角特征信息進行特征融合，分別相對應得到主代價體和變形代價體；

將所述主代價體和所述變形代價體融合成所述初始代價體。