[發(fā)明專利]視覺景深估計方法、裝置、設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201710488104.5
• 申請日: 2017-06-23
• 公開（公告）號: CN109118532B
• 公開（公告）日: 2020-11-20
• 發(fā)明（設(shè)計）人: 何明;陳世佳;夏添
• 申請（專利權(quán)）人: 百度在線網(wǎng)絡(luò)技術(shù)(北京)有限公司
• 主分類號: H04N13/246
• 分類號: H04N13/246;G06T7/521
• 代理公司: 北京鴻德海業(yè)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11412
• 代理人: 袁媛

1.一種視覺景深估計方法，其特征在于，包括：

獲取采集車所采集的圖像，根據(jù)獲取到的圖像生成訓練樣本；

根據(jù)所述訓練樣本訓練得到神經(jīng)網(wǎng)絡(luò)模型；

獲取單目攝像機所采集的圖像，根據(jù)所述神經(jīng)網(wǎng)絡(luò)模型，確定出圖像中的各像素點分別對應(yīng)的景深，包括：針對圖像中的每個像素點，分別利用所述神經(jīng)網(wǎng)絡(luò)模型獲取所述像素點對應(yīng)的景深的所屬子區(qū)域信息以及在所屬子區(qū)域內(nèi)的偏移值信息，根據(jù)所屬子區(qū)域信息以及偏移值信息計算出所述像素點對應(yīng)的景深。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，

所述采集車上安裝有雙目攝像機，所述獲取采集車所采集的圖像，根據(jù)獲取到的圖像生成訓練樣本包括：

針對所述雙目攝像機每次采集到的左右目圖像，分別進行以下處理：

分別確定出圖像中的各像素點對應(yīng)的景深；

利用左右目圖像中的一個單目圖像以及其中的各像素點對應(yīng)的景深組成一個訓練樣本，所述單目圖像為左目圖像或右目圖像。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，

所述采集車上安裝有單目攝像機以及激光雷達，所述獲取采集車所采集的圖像，根據(jù)獲取到的圖像生成訓練樣本包括：

針對所述單目攝像機每次采集到的圖像，分別進行以下處理：

獲取所述激光雷達采集的對應(yīng)的點云數(shù)據(jù)，將所述點云數(shù)據(jù)通過標定得到的轉(zhuǎn)換矩陣投影到所述圖像上；

根據(jù)與之對應(yīng)的點云三維坐標，分別確定出所述圖像中的各像素點對應(yīng)的景深；

利用所述圖像以及其中的各像素點對應(yīng)的景深組成一個訓練樣本。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，

所述獲取單目攝像機所采集的圖像，根據(jù)所述神經(jīng)網(wǎng)絡(luò)模型，確定出圖像中的各像素點分別對應(yīng)的景深進一步包括：

獲取單目攝像機所采集的圖像，將所述圖像輸入給所述神經(jīng)網(wǎng)絡(luò)模型，得到所述神經(jīng)網(wǎng)絡(luò)模型輸出的圖像中的各像素點分別對應(yīng)的景深。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，

所述根據(jù)所述訓練樣本訓練得到神經(jīng)網(wǎng)絡(luò)模型包括：

將單目視覺的可視范圍等分為N個子區(qū)域，N為大于一的正整數(shù)；

根據(jù)所述訓練樣本訓練得到由分類器以及回歸模型組成的神經(jīng)網(wǎng)絡(luò)模型，其中，所述分類器用于輸出所屬子區(qū)域信息，所述回歸模型用于輸出偏移值信息。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，

所述根據(jù)所屬子區(qū)域信息以及偏移值信息計算出所述像素點對應(yīng)的景深包括：

用所屬子區(qū)域的起始值加上所述偏移值，得到所述像素點對應(yīng)的景深；

所述偏移值小于或等于所屬子區(qū)域的結(jié)束值與起始值之差。

7.一種視覺景深估計裝置，其特征在于，包括：樣本獲取單元、模型訓練單元以及景深估計單元；

所述樣本獲取單元，用于獲取采集車所采集的圖像，根據(jù)獲取到的圖像生成訓練樣本；

所述模型訓練單元，用于根據(jù)所述訓練樣本訓練得到神經(jīng)網(wǎng)絡(luò)模型；

所述景深估計單元，用于獲取單目攝像機所采集的圖像，根據(jù)所述神經(jīng)網(wǎng)絡(luò)模型，確定出圖像中的各像素點分別對應(yīng)的景深，包括：針對圖像中的每個像素點，分別利用所述神經(jīng)網(wǎng)絡(luò)模型獲取所述像素點對應(yīng)的景深的所屬子區(qū)域信息以及在所屬子區(qū)域內(nèi)的偏移值信息，根據(jù)所屬子區(qū)域信息以及偏移值信息計算出所述像素點對應(yīng)的景深。

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，

所述采集車上安裝有雙目攝像機，所述樣本獲取單元針對所述雙目攝像機每次采集到的左右目圖像，分別進行以下處理：

分別確定出圖像中的各像素點對應(yīng)的景深；

利用左右目圖像中的一個單目圖像以及其中的各像素點對應(yīng)的景深組成一個訓練樣本，所述單目圖像為左目圖像或右目圖像。