[發明專利]深度估計方法和裝置

在審

• 申請號: 202010046284.3
• 申請日: 2020-01-16
• 公開（公告）號: CN113129353A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 俞佳茜;陳一偉;徐靜濤;韓在濬;俞炳仁;李韓娥;崔昌圭;王強
• 申請（專利權）人: 北京三星通信技術研究有限公司;三星電子株式會社
• 主分類號: G06T7/564
• 分類號: G06T7/564;G06T7/13;G06T7/12;G06N3/04
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 于翔;曾世驍

提供了一種深度估計方法和裝置，所述深度估計方法包括：獲取圖像，其中，所述圖像的像素具有多個子像素；基于所述圖像來獲取多個子圖像，其中，所述子圖像的像素為所述子像素；獲取子圖像之間的視差；以及基于子圖像之間的視差來獲取所述圖像的深度。

技術領域

本發明涉及圖像處理領域，更具體地，涉及一種深度估計方法和裝置。

背景技術

隨著便攜式電子裝置(諸如，智能電話、平板電腦等)的日益發展，其相機是否能夠滿足使用需求已經成為用戶選擇產品時最重要的衡量指標之一。此外，由于專業相機存在使用難度、市場價格、攜帶方便程度等局限性，如何使用便攜式電子裝置的相機模擬專業相機的拍照效果也已經成為便攜式電子裝置相機的功能開發的重要課題。

在專業相機的眾多拍照效果中，其多樣化的景深效果是區別于便攜式電子裝置的相機的最顯著特征之一。景深是指相機能夠獲取清晰的被攝物體前后的距離范圍。例如，在拍攝人像時，較小的景深可以使得對焦中的人像清晰，而景深距離之外的背景模糊，使得照片呈現出一種突出人像的立體感。再例如，拍攝帶人物的風景照時，較大的景深可以使得人像和較遠的背景同時清晰，既突出了人像又保留了風景。專業相機基于其硬件的優勢，往往可以提供范圍比較大的景深選擇，使得用戶在不同拍照場景下，根據需求，選擇不同的光圈大小和焦距，以達到不同景深的拍照效果。由于便攜式電子裝置的相機的硬件局限，無法達到與專業相機同等水平的光圈和焦距，從而無法呈現多樣化的景深效果，故需要通過算法在便攜式電子裝置上模擬這樣的效果。

在便攜式電子裝置上模擬的專業相機景深效果通常稱之為散焦模式或散焦效果(Bokeh Effect)。在現有技術中，散焦效果通常可通過圖像分割、基于單目或雙目的深度估計等方法來實現，將拍攝主體從圖像分離，并將將主體以外的內容(諸如，背景)模糊化。然而，這些現有方法存在無法獲得與真實場景對應的合理效果、無法區分真實3D場景和假性3D場景(諸如，高質量打印的照片、播放的影片等)、無法計算有效的深度信息以及對硬件要求高并且功耗大等缺點。

發明內容

根據本發明的示例性實施例，提供了一種深度估計方法，包括：獲取圖像，其中，所述圖像的像素具有多個子像素；基于所述圖像來獲取多個子圖像，其中，所述子圖像的像素為所述子像素；獲取子圖像之間的視差；以及基于子圖像之間的視差來獲取所述圖像的深度。

獲取子圖像之間的視差的步驟可包括：將所述多個子圖像兩兩配對，并獲取兩兩配對的子圖像之間的視差。

獲取子圖像之間的視差的步驟還可包括如下中的至少一種：獲取輸入的兩兩配對的子圖像的對應位置的子像素的差值，并基于所述差值來獲取子圖像之間的視差；對輸入的兩兩配對的子圖像進行卷積，獲取卷積后的兩兩配對的子圖像的對應位置的子像素的差值，并基于所述差值來獲取子圖像之間的視差；對輸入的兩兩配對的子圖像進行位移，獲取位移后的兩兩配對的子圖像的對應位置的子像素的差值，并基于所述差值來獲取子圖像之間的視差；對輸入的兩兩配對的子圖像進行位移，對位移后的兩兩配對的子圖像進行卷積，獲取卷積后的兩兩配對的子圖像的對應位置的子像素的差值，并基于所述差值來獲取子圖像之間的視差。

可按照相反方向和/或相同位移值來對輸入的兩兩配對的子圖像進行位移。

基于所述差值獲取子圖像之間的視差的步驟可包括：將所述差值與預定常數進行比較，根據比較結果來確定子圖像之間的視差。

所述深度估計方法還可包括：基于所述多個子圖像來獲取所述圖像的邊緣檢測圖和/或圖像分割圖。

所述多個子圖像可以為四個子圖像。

所述四個子圖像可包括由在每個像素中處于左上位置的子像素構成的左上子圖像、由在每個像素中處于左下位置的子像素構成的左下子圖像、由在每個像素中處于右上位置的子像素構成的右上子圖像以及由在每個像素中處于右下位置的子像素構成的右下子圖像。