[發明專利]一種深度真值獲取方法、裝置、系統及深度相機

在審

• 申請號: 202110347156.7
• 申請日: 2021-03-31
• 公開（公告）號: CN113160298A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 蘭富洋;袁正剛;楊鵬;王兆民;黃源浩;肖振中
• 申請（專利權）人: 奧比中光科技集團股份有限公司
• 主分類號: G06T7/593
• 分類號: G06T7/593;G06T7/514;G06T7/80
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 冷仔

1.一種深度真值獲取方法，其特征在于，包括：

獲取雙目相機和目標相機各自的內參，雙目相機外參，以及所述雙目相機中任一相機與目標相機的外參；

當開啟目標相機時，獲取目標場景的目標圖像；當開啟雙目相機和投影模塊，且旋轉和/或平移投影模塊時，獲取多對目標場景的左目圖像和右目圖像；

計算目標場景的多對左目圖像和右目圖像的視差，并計算融合視差圖；

根據融合視差圖計算目標場景的深度信息，并利用目標相機的內參和外參獲取目標相機的深度真值。

2.如權利要求1所述的深度真值獲取方法，其特征在于，還包括：

將所述目標圖像和所述深度真值作為一組訓練樣本，獲取不同目標場景下的多組訓練樣本，利用所述多組訓練樣本訓練神經網絡模型，獲得經訓練的神經網絡模型。

3.如權利要求1或2所述的深度真值獲取方法，其特征在于，所述計算目標場景的多對左目圖像和右目圖像的視差，并計算融合視差圖，包括：

針對目標場景的每對左目圖像和右目圖像計算視差，獲得視差圖；

融合多幀所述視差圖，獲得融合視差圖。

4.如權利要求1或2所述的深度真值獲取方法，其特征在于，所述根據融合視差圖計算目標場景的深度信息，并利用目標相機的內參和外參獲取目標相機的深度真值，包括：

利用所述融合視差圖計算目標場景的深度信息；

將所述深度信息轉換為點云數據，并基于目標相機的內參和外參，將所述點云數據投影至目標相機的成像平面上；

根據投影至目標相機的成像平面的點云數據，計算目標相機獲取的深度真值。

5.一種深度真值獲取裝置，其特征在于，包括：

標定模塊，用于獲取雙目相機和目標相機各自的內參，雙目相機外參，以及所述雙目相機中任一相機與目標相機的外參；

圖像獲取模塊，用于當開啟目標相機時，獲取所述目標相機采集的目標場景的目標圖像；當開啟雙目相機和投影模塊，且旋轉和/或平移投影模塊時，獲取所述雙目相機采集的多對目標場景的左目圖像和右目圖像；

視差計算模塊，用于計算目標場景的多對左目圖像和右目圖像的視差，并計算融合視差圖；

深度真值計算模塊，用于根據融合視差圖計算目標場景的深度信息，并利用目標相機的參數獲取目標相機的深度真值。

6.如權利要求5所述的深度真值獲取裝置，其特征在于，還包括：

訓練模塊，用于將所述目標圖像和所述深度真值作為一組訓練樣本，獲取不同目標場景下的多組訓練樣本，利用所述多組訓練樣本訓練神經網絡模型，獲得經訓練的神經網絡模型。

7.如權利要求5或6所述的深度真值獲取裝置，其特征在于，還包括：

操縱執行模塊，用于控制操縱模塊驅動投影模塊旋轉和/或平移。

8.一種深度真值獲取系統，其特征在于，包括雙目相機、目標相機和投影模塊，所述深度真值獲取系統還包括如權利要求5至7任一項所述的深度真值獲取裝置。

9.如權利要求8所述的深度真值獲取系統，其特征在于，還包括：操縱模塊，所述操縱模塊用于驅動所述投影模塊旋轉和/或平移。

10.一種深度相機，其特征在于，包括采集模塊及處理模塊，

所述采集模塊，用于采集目標區域的第一圖像；

所述處理模塊，包括經訓練的訓練單元，所述處理模塊用于利用所述第一圖像和所述訓練單元獲取所述目標區域的深度真值；

其中，所述訓練單元為預先利用權利要求1至5任一項的深度真值獲取方法獲取的目標圖像作為訓練樣本訓練的神經網絡模型。

11.如權利要求10所述的深度相機，其特征在于，所述深度相機還包括投影模塊，所述投影模塊用于向目標區域投射紅外光束，所述采集模塊用于采集經所述目標區域反射回的紅外光束并生成紅外圖像，所述處理模塊用于利用所述紅外圖像和所述訓練單元獲取所述目標區域的深度真值。