[發明專利]用于生成深度圖像的方法和裝置

在審

• 申請號: 201810233912.1
• 申請日: 2018-03-21
• 公開（公告）號: CN108510454A
• 公開（公告）日: 2018-09-07
• 發明（設計）人: 何濤;劉文獻
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本申請實施例公開了用于生成深度圖像的方法和裝置。該方法的一具體實施方式包括：獲取目標深度圖像；將目標深度圖像輸入至預先訓練的卷積神經網絡，生成目標深度圖像的恢復圖像，卷積神經網絡是通過如下訓練步驟得到的：獲取訓練樣本集，每個訓練樣本包括第一深度相機和第二深度相機拍攝同一對象所得的第一樣本深度圖像和第二樣本深度圖像，其中，第二深度相機在至少一個預設深度相機性能參數上優于第一深度相機；將訓練樣本集中的訓練樣本中的第一樣本深度圖像和第二樣本深度圖像分別作為初始卷積神經網絡的輸入和期望輸出，訓練初始卷積神經網絡；將訓練得到的初始卷積神經網絡確定為預先訓練的卷積神經網絡。該實施方式實現了生成深度圖像的恢復圖像。

技術領域

本申請實施例涉及計算機技術領域，具體涉及計算機視覺技術領域，尤其涉及用于生成深度圖像的方法和裝置。

背景技術

在計算機視覺系統中，三維場景信息為圖像分割、目標檢測、物體跟蹤等各類計算機視覺應用提供了更多的可能性，而深度圖像(Depth map)作為一種普遍的三維場景信息表達方式得到了廣泛的應用。深度圖像的每個像素點的灰度值可用于表征場景中某一點距離拍攝設備的遠近。

目前，大部分是通過深度傳感器來獲取深度圖像。然而，能夠拍攝到較好質量的深度圖像的深度傳感器的成本較高，很多場合并不具備高質量的深度傳感器，而普通的深度傳感器所拍攝的深度圖像經常可能會存在低像素、低信噪比或者有洞等缺點，這些缺點給深度圖像的應用造成了不便。

發明內容

本申請實施例提出了用于生成深度圖像的方法和裝置。

第一方面，本申請實施例提供了一種用于生成深度圖像的方法，該方法包括：獲取目標深度圖像；將目標深度圖像輸入至預先訓練的卷積神經網絡，生成目標深度圖像的恢復圖像，其中，卷積神經網絡用于表征深度圖像與深度圖像的恢復圖像之間的對應關系，卷積神經網絡是通過如下訓練步驟得到的：確定初始卷積神經網絡的網絡結構以及初始化初始卷積神經網絡的網絡參數；獲取訓練樣本集，其中，每個訓練樣本包括第一深度相機和第二深度相機拍攝同一對象所得的第一樣本深度圖像和第二樣本深度圖像，其中，第二深度相機在至少一個預設深度相機性能參數上優于第一深度相機；將訓練樣本集中的訓練樣本中的第一樣本深度圖像和第二樣本深度圖像分別作為初始卷積神經網絡的輸入和期望輸出，利用機器學習方法訓練初始卷積神經網絡；將訓練得到的初始卷積神經網絡確定為預先訓練的卷積神經網絡。

在一些實施例中，卷積神經網絡包括至少一個卷積層。

在一些實施例中，目標深度圖像為目標人臉深度圖像。

在一些實施例中，至少一個預設深度相機性能參數包括分辨率和深度有效距離。

在一些實施例中，在將目標深度圖像輸入至預先訓練的卷積神經網絡，生成目標深度圖像的恢復圖像之前，該方法還包括：確定目標深度圖像對應的目標類型；以及將目標深度圖像輸入至預先訓練的卷積神經網絡，生成目標深度圖像的恢復圖像，包括：將目標深度圖像輸入到所確定的目標類型對應的預先訓練的卷積神經網絡中，生成目標深度圖像的恢復圖像。

第二方面，本申請實施例提供了一種用于生成深度圖像的裝置，該裝置包括：獲取單元，配置用于獲取目標深度圖像；生成單元，配置用于將目標深度圖像輸入至預先訓練的卷積神經網絡，生成目標深度圖像的恢復圖像，其中，卷積神經網絡用于表征深度圖像與深度圖像的恢復圖像之間的對應關系，卷積神經網絡是通過如下訓練步驟得到的：確定初始卷積神經網絡的網絡結構以及初始化初始卷積神經網絡的網絡參數；獲取訓練樣本集，其中，每個訓練樣本包括第一深度相機和第二深度相機拍攝同一對象所得的第一樣本深度圖像和第二樣本深度圖像，其中，第二深度相機在至少一個預設深度相機性能參數上優于第一深度相機；將訓練樣本集中的訓練樣本中的第一樣本深度圖像和第二樣本深度圖像分別作為初始卷積神經網絡的輸入和期望輸出，利用機器學習方法訓練初始卷積神經網絡；將訓練得到的初始卷積神經網絡確定為預先訓練的卷積神經網絡。