[發明專利]基于雙目視覺的三維目標檢測方法、裝置及系統

在審

• 申請號: 202011176663.0
• 申請日: 2020-10-28
• 公開（公告）號: CN112287824A
• 公開（公告）日: 2021-01-29
• 發明（設計）人: 蔣韜;宋濤;章良君;謝迪;浦世亮
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 楊春香

本申請提供一種基于雙目視覺的三維目標檢測方法、裝置及系統，該方法包括：獲取雙目圖像的視差圖，以及，獲取所述雙目圖像的圖像特征；確定所述視差圖中各像素的相機坐標系坐標，并對各像素的相機坐標系坐標進行定點化操作，以得到各像素的三維網格坐標；基于各像素的三維網格坐標，以及所述雙目圖像的圖像特征，確定鳥瞰圖數據；對所述鳥瞰圖數據進行三維目標檢測。該方法可以高效地實現基于雙目視覺的三維目標檢測，提升三維目標檢測的性能。

技術領域

本申請涉及智能感知技術領域，尤其涉及一種基于雙目視覺的三維目標檢測方法、裝置及系統。

背景技術

傳統的三維目標檢測方案是通過提取三維點云，并通過指定編碼方式生成鳥瞰圖(BEV)作為三維目標檢測的輸入，然后使用含有編碼器與解碼器結構的網絡結構得到RGB(Red，Green，Blue，紅綠藍)圖像和BEV的全分辨率特征圖。再通過預測錨點及其偏移量得到錨盒，將對應錨盒投射回RGB圖像和鳥瞰圖的特征圖的對應感興趣區域，提取感興趣區域特征并將其插值為3x3大小，最后使用1x1卷積降低特征維度并生成三維檢測結果。

然而實踐發現，上述方案至少存在以下問題：

1、檢測流程復雜：上述方案中每幀可能有80k-100k個錨點，針對每個錨點，均需先通過投影變換找到對應的感興趣區域，然后再經過插值操作及卷積操作才能夠得到檢測結果，計算量大，耗時多。

2、檢測成本高昂：上述方案需要使用激光雷達的點云數據作為輸入，檢測成本過高。

發明內容

有鑒于此，本申請提供一種基于雙目視覺的三維目標檢測方法及裝置。

具體地，本申請是通過如下技術方案實現的：

根據本申請實施例的第一方面，提供一種基于雙目視覺的三維目標檢測方法，包括：

獲取雙目圖像的視差圖，以及，獲取所述雙目圖像的圖像特征；

確定所述視差圖中各像素的相機坐標系坐標，并對各像素的相機坐標系坐標進行定點化操作，以得到各像素的三維網格坐標；

基于各像素的三維網格坐標，以及所述雙目圖像的圖像特征，確定鳥瞰圖數據；

對所述鳥瞰圖數據進行三維目標檢測。

根據本申請實施例的第二方面，提供一種基于雙目視覺的三維目標檢測裝置，包括：

獲取單元，用于獲取雙目圖像的視差圖，以及，獲取所述雙目圖像的圖像特征；

定點化單元，用于確定所述視差圖中各像素的相機坐標系坐標，并對各像素的相機坐標系坐標進行定點化操作，以得到各像素的三維網格坐標；

確定單元，用于基于各像素的三維網格坐標，以及所述雙目圖像的圖像特征，確定鳥瞰圖數據；

檢測單元，用于對所述鳥瞰圖數據進行三維目標檢測。

根據本申請實施例的第三方面，提供一種電子設備，包括處理器、通信接口、存儲器和通信總線，其中，處理器，通信接口，存儲器通過通信總線完成相互間的通信；

存儲器，用于存放計算機程序；

處理器，用于執行存儲器上所存放的程序時，實現上述基于雙目視覺的三維目標檢測方法。

根據本申請實施例的第四方面，提供一種機器可讀存儲介質，所述計算機可讀存儲介質內存儲有計算機程序，所述計算機程序被處理器執行時實現上述基于雙目視覺的三維目標檢測方法。

根據本申請實施例的第五方面，提供一種基于雙目視覺的三維目標檢測系統，包括：雙目相機、處理器和機器可讀存儲介質；

所述雙目相機，用于獲取雙目圖像；