[發明專利]深度圖像插值方法、裝置、設備和介質

在審

• 申請號: 202110127004.6
• 申請日: 2021-01-29
• 公開（公告）號: CN112669220A
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 官晨曄;張良俊
• 申請（專利權）人: 百度時代網絡技術（北京）有限公司;百度（美國）有限責任公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50;G06N3/04
• 代理公司: 北京市漢坤律師事務所 11602
• 代理人: 姜浩然;吳麗麗

本公開提供了一種深度圖像插值方法、裝置、設備和介質，涉及人工智能技術領域，具體涉及計算機視覺技術領域。該方法包括：獲取待處理深度圖像中多個有效深度點分別相應的深度信息；基于待處理深度圖像，確定每一有效深度點的多個鄰域，每一鄰域包括一個或多個鄰域點；針對每一有效深度點的每一鄰域點，確定該鄰域點與相關聯的一個或多個有效深度點中每一有效深度點之間的關聯權重；針對每一有效深度點的每一鄰域點，至少基于一個或多個關聯權重，以及與該鄰域點相關聯的一個或多個有效深度點的深度信息，確定鄰域點的傳遞深度信息；以及基于所確定的多個鄰域點的傳遞深度信息，更新待處理深度圖像。

技術領域

本公開涉及人工智能技術領域，具體涉及計算機視覺技術領域，特別涉及一種深度圖像插值方法、裝置、設備和介質。

背景技術

人工智能是研究使計算機來模擬人的某些思維過程和智能行為(如學習、推理、思考、規劃等)的學科，既有硬件層面的技術也有軟件層面的技術。人工智能硬件技術一般包括如傳感器、專用人工智能芯片、云計算、分布式存儲、大數據處理等技術:人工智能軟件技術主要包括計算機視覺技術、語音識別技術、自然語言處理技術以及機器學習/深度學習、大數據處理技術、知識圖譜技術等幾大方向。

計算機視覺中，深度圖像廣泛應用于三維重建、自動駕駛、移動機器人、2D電影到3D電影的自動轉換以及3D計算機圖形學中的陰影映射等，這些應用需要確定每一個像素的深度信息。因此，如何提升深度圖像的分辨率是計算機視覺領域的一個重要課題。相關技術中，可以將2D圖像和稀疏深度圖像輸入卷積神經網絡，通過卷積神經網絡的多個卷積層之間的協同處理來得到稠密深度圖像，但是，卷積神經網絡在空間維度上只采用一個卷積核，對深度信息空間傳播過程的描述過于簡單，導致得到的稠密深度圖像的準確性較低，進而對后續應用造成不良影響。

在此部分中描述的方法不一定是之前已經設想到或采用的方法。除非另有指明，否則不應假定此部分中描述的任何方法僅因其包括在此部分中就被認為是現有技術。類似地，除非另有指明，否則此部分中提及的問題不應認為在任何現有技術中已被公認。

發明內容

本公開提供了一種深度圖像插值方法、裝置、電子設備、計算機可讀存儲介質和計算機程序產品。

根據本公開的一方面，提供一種深度圖像插值方法，包括：獲取待處理深度圖像中多個有效深度點分別相應的深度信息；基于所述待處理深度圖像，確定所述多個有效深度點中每一有效深度點的多個鄰域，每一所述鄰域包括一個或多個鄰域點；針對所述多個有效深度點中每一有效深度點的每一鄰域點，確定所述鄰域點與相關聯的一個或多個有效深度點中每一有效深度點之間的關聯權重；針對所述多個有效深度點中每一有效深度點的每一鄰域點，至少基于一個或多個所述關聯權重，以及與所述鄰域點相關聯的一個或多個有效深度點的深度信息，確定所述鄰域點的傳遞深度信息；以及基于所確定的多個鄰域點的傳遞深度信息，更新所述待處理深度圖像。

根據本公開的另一方面，還提供一種深度圖像插值裝置，包括：深度獲取單元，被配置用于獲取待處理深度圖像中多個有效深度點分別相應的深度信息；鄰域確定單元，被配置用于基于所述待處理深度圖像，確定所述多個有效深度點中每一有效深度點的多個鄰域，每一所述鄰域包括一個或多個鄰域點；權重確定單元，被配置用于針對所述多個有效深度點中每一有效深度點的每一鄰域點，確定所述鄰域點與相關聯的一個或多個有效深度點中每一有效深度點之間的關聯權重；傳遞深度確定單元，被配置用于針對所述多個有效深度點中每一有效深度點的每一鄰域點，至少基于一個或多個所述關聯權重，以及與所述鄰域點相關聯的一個或多個有效深度點的深度信息，確定所述鄰域點的傳遞深度信息；以及第一更新單元，被配置用于基于所確定的多個鄰域點的傳遞深度信息，更新所述待處理深度圖像。

根據本公開的另一方面，還提供一種電子設備，包括：存儲器、處理器以及存儲在所述存儲器上的計算機程序，其中，所述處理器被配置為執行所述計算機程序以實現上述的方法的步驟。