[發明專利]基于雙目散焦圖像的深度估計方法、裝置、介質和設備

在審

• 申請號: 202110290161.9
• 申請日: 2021-03-18
• 公開（公告）號: CN112950698A
• 公開（公告）日: 2021-06-11
• 發明（設計）人: 袁潮;溫建偉;劉燁斌;周玥眉;趙月峰
• 申請（專利權）人: 北京拙河科技有限公司
• 主分類號: G06T7/593
• 分類號: G06T7/593;G06T7/564;G06T5/00;G06T7/80
• 代理公司: 北京名華博信知識產權代理有限公司 11453
• 代理人: 胡丹

本文是關于一種基于雙目散焦圖像的深度估計方法、裝置、介質和設備。其方法包括：使用標定后的雙目相機獲取同一場景的圖像對；對圖像對進行去畸變處理和立體校正，以獲得極線對齊的校正后圖像對；對校正后圖像對進行雙目立體匹配，并輸出各個像素點的初始深度估值；建立散焦掩膜圖像對進行視點變換，基于同一視點的兩個散焦掩膜圖像獲得各個像素點的散焦深度估計；利用散焦深度估計對所述初始深度估值進行優化；采集圖像的邊緣信息對優化后的深度估計結果進行細化，確定各個像素點的最終深度。通過本文提供的方法，可以有效提高深度估計的準確性。

技術領域

本發明涉及計算機視覺技術領域，尤其涉及基于雙目散焦圖像的深度估計方法、裝置、介質和設備。

背景技術

場景的三維信息獲取是計算機視覺領域的重點問題。隨著智能產業的不斷發展，人們對三維信息的需求也愈加豐富，如室內室外場景的三維重建、無人機無人車自動駕駛、AR/VR應用、人體人臉重建等。深度估計作為后續算法的基礎在其中起到了至關重要的作用，并極大影響著最終三維應用的上限。而目前基于雙目的深度估計算法由于其性價比高、能夠在室外工作的特點，備受業界和研究者們的關注，但低紋理及重復紋理難以匹配、小視差區域深度估計效果差、精細結構難以重建等問題是一直以來的瓶頸。

發明內容

為了解決上面描述的問題，本發明提供一種基于雙目散焦圖像的深度估計方法、裝置、介質和設備。

根據本文的一個方面，提供一種基于雙目散焦圖像的深度估計方法，包括：

使用標定后的雙目相機獲取同一場景的圖像對，所述圖像對中的圖像的對焦面不同；

對所述圖像對進行去畸變處理和立體校正，以獲得極線對齊的校正后圖像對；

對所述校正后圖像對進行雙目立體匹配，并輸出各個像素點的初始深度估值；

建立所述校正后圖像對的散焦掩膜圖像對，利用所述各個像素點的初始深度估值，對所述散焦掩膜圖像對進行視點變換，將所述散焦掩膜圖像對變換為同一視點的兩個散焦掩膜圖像，基于同一視點的兩個散焦掩膜圖像獲得各個像素點的散焦深度估計；

利用所述散焦深度估計對所述初始深度估值進行優化，獲得各個像素點的優化后的深度估計結果；

采集圖像的邊緣信息對所述優化后的深度估計結果進行細化，確定各個像素點的最終深度。

基于雙目散焦圖像的深度估計方法，還包括：對雙目相機進行標定，確定所述雙目相機的內參、外參、雙目基線距離。

所述對所述校正后圖像對進行雙目立體匹配，并輸出各個像素點的初始深度估值包括：

在所述校正后圖像對中，將第一視點的校正后圖像中的各個像素點與第二視點的校正后圖像中的像素點進行匹配；

根據匹配結果建立各個像素點的視差代價體；

利用三維卷積網絡提取所述視差代價體的信息,并用argmi n(﹒)函數做監督，確定所述第一視點的校正后圖像中各個像素點的初始深度估計值。

所述建立所述校正后圖像對的散焦掩膜圖像對，利用所述各個像素點的初始深度估值，對所述散焦掩膜圖像對進行視點變換，將所述散焦掩膜圖像對變換為同一視點的兩個散焦掩膜圖像包括：

建立所述校正后圖像對的散焦掩膜圖像對，所述散焦掩膜圖像對包括第一視點的散焦掩膜圖像和第二視點的散焦掩膜圖像；

利用各個像素點的初始深度估值，確定所述第二視點的散焦掩膜圖像中各個像素點在所述第一視點的散焦掩膜圖像中的對應的像素點，并確定各個像素點與對應的像素點的位置差值；

根據所述位置差值，將第二視點的散焦掩膜圖像中各個像素點的位置進行變換，以使變換后的散焦掩膜圖像中的各個像素點的位置與所述第一視點的散焦掩膜圖像中對應的像素點的位置相同。