[發明專利]一種基于雙目相機的環境提示方法及裝置

有效

• 申請號: 201910579880.5
• 申請日: 2019-06-28
• 公開（公告）號: CN110336991B
• 公開（公告）日: 2021-07-13
• 發明（設計）人: 黃興魯
• 申請（專利權）人: 深圳數位傳媒科技有限公司
• 主分類號: H04N13/239
• 分類號: H04N13/239;H04N13/271;G06N3/04;H04N13/106
• 代理公司: 廣東良馬律師事務所 44395
• 代理人: 李良

1.一種基于雙目相機的環境提示方法,其特征在于,包括如下步驟：

通過雙目相機獲取當前環境的包含深度信息的共視圖數據；

將所述包含深度信息的共視圖數據輸入至預設神經網絡模型，實時輸出當前環境中檢測到的目標；

根據所述包含深度信息的共視圖數據和檢測到的目標計算輸出當前環境中的目標三維數據；

所述通過雙目相機獲取當前環境的包含深度信息的共視圖數據，包括：

通過雙目相機分別獲取兩幅當前環境的原圖像，對所述原圖像進行畸變校正與極線平行處理后輸出共視圖數據；

根據預設匹配算法計算輸出所述共視圖數據的深度信息；

所述通過雙目相機分別獲取兩幅當前環境的原圖像，對所述原圖像進行畸變校正與極線平行處理后輸出共視圖數據，包括：

對雙目相機進行標定，獲取雙目相機的內參、外參和畸變參數；

根據所述內參將原圖像從圖像像素坐標系轉換至相機坐標系；

通過所述外參對原圖像進行極線平行處理，通過所述畸變參數對原圖像的相機坐標進行畸變校正；

根據所述內參將經過畸變校正與極線平行處理后的原圖像從相機坐標系轉換至圖像像素坐標系，輸出共視圖數據，所述共視圖數據是左右兩個相機像平面的公共部分，公共部分的基線和極線都處于垂直于深度坐標軸的平面上，且公共部分的基線和極線平行；

具體通過兩個相機之間的變換關系R和對兩幅原圖像進行極限平行校正，使兩個相機的光軸平行，像點在左右圖像上的高度一致，處于同一平面上，其中，R和表示兩個相機之間的旋轉矩陣和平移向量；R_r表示右側相機的旋轉矩陣；R_l表示左側相機的旋轉矩陣；表示左側相機的平移向量；表示右側相機的平移向量；

給定立體圖像之間的旋轉矩陣R和平移向量后，將旋轉矩陣分成兩半，左邊相機旋轉一半r_l，右邊相機旋轉一半r_r，使得極線變成水平：r_l為要達到極線平行，左側相機需旋轉的矩陣，r_r為要達到極線平行，右側相機需要旋轉的矩陣；

所述根據預設匹配算法計算輸出所述共視圖數據的深度信息，包括：

根據預設匹配算法對共視圖數據中雙目相機分別獲取的圖像進行像素匹配，計算輸出每個像素點的視差；

根據每個像素點的視差、雙目相機光心之間的距離以及雙目相機的焦距計算輸出所述共視圖數據的深度信息獲得當前環境的三維點云數據；

沿著z軸方向過濾掉z值大于預設閾值的所有三維點云數據，對共視圖數據的深度信息進行去噪。

2.根據權利要求1所述的基于雙目相機的環境提示方法，其特征在于，所述將所述包含深度信息的共視圖數據輸入至預設神經網絡模型，實時輸出當前環境中檢測到的目標，包括：

將所述包含深度信息的共視圖數據輸入至預設神經網絡模型，所述預設神經網絡模型中預存有多個目標類別；

檢測所述共視圖數據中的目標類別，實時輸出具有目標類別的邊界框。

3.根據權利要求2所述的基于雙目相機的環境提示方法，其特征在于，所述根據所述包含深度信息的共視圖數據和檢測到的目標計算輸出當前環境中的目標三維數據，包括：

獲取所述具有目標類別的邊界框的參數信息；

根據所述參數信息與所述包含深度信息的共視圖數據計算所述每個邊界框的目標距離、方位和坐標。

4.根據權利要求3所述的基于雙目相機的環境提示方法，其特征在于，所述參數信息至少包括邊界框的中心坐標、寬度和高度。

5.一種基于雙目相機的環境提示裝置，其特征在于，所述裝置包括雙目相機、至少一個處理器；以及，

與所述至少一個處理器通信連接的存儲器；其中，

所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行權利要求1-4任一項所述的基于雙目相機的環境提示方法。

6.一種非易失性計算機可讀存儲介質，其特征在于，所述非易失性計算機可讀存儲介質存儲有計算機可執行指令，該計算機可執行指令被一個或多個處理器執行時，可使得所述一個或多個處理器執行權利要求1-4任一項所述的基于雙目相機的環境提示方法。