[發明專利]基于雙目視覺的三維目標檢測方法、裝置及系統

在審

• 申請號: 202011176663.0
• 申請日: 2020-10-28
• 公開（公告）號: CN112287824A
• 公開（公告）日: 2021-01-29
• 發明（設計）人: 蔣韜;宋濤;章良君;謝迪;浦世亮
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 楊春香

1.一種基于雙目視覺的三維目標檢測方法，其特征在于，包括：

獲取雙目圖像的視差圖，以及，獲取所述雙目圖像的圖像特征；

確定所述視差圖中各像素的相機坐標系坐標，并對各像素的相機坐標系坐標進行定點化操作，以得到各像素的三維網格坐標；

基于各像素的三維網格坐標，以及所述雙目圖像的圖像特征，確定鳥瞰圖數據；

對所述鳥瞰圖數據進行三維目標檢測。

2.根據權利要求1所述的方法，其特征在于，所述確定所述視差圖中各像素的相機坐標系坐標，并對各像素的相機坐標系坐標進行定點化操作，包括：

基于所述視差圖中各像素的像素坐標、各像素的視差值以及相機內參，確定各像素的相機坐標系坐標；

基于預設三維空間約束區間，對所述各像素的相機坐標系坐標進行三維空間約束，以得到所述預設三維空間約束區間內的像素的相機坐標系坐標；

基于預設分割間隔，將所述預設空間約束區間內的像素的相機坐標系坐標轉換為三維網格坐標。

3.根據權利要求1所述的方法，其特征在于，所述基于各像素的三維網格坐標，以及所述雙目圖像的圖像特征，確定鳥瞰圖數據，包括：

對于任一通道的圖像特征對應的三維網格，基于各像素的三維網格坐標，將各像素的三維網格坐標位置的體素值置為該通道的圖像特征中各像素的特征值；

基于各通道的圖像特征對應的三維網格，確定鳥瞰圖數據。

4.根據權利要求3所述的方法，其特征在于，所述基于各像素的三維網格坐標，將各像素的三維網格坐標位置的體素值置為該通道的圖像特征中各像素的特征值，包括：

當存在多個像素對應的三維網格坐標相同時，基于第一預設策略確定該三維網格坐標的體素值；

所述第一預設策略包括以下策略之一：

將對應的三維網格坐標相同的多個像素的特征值之和，確定為該三維網格坐標的體素值；

將對應的三維網格坐標相同的多個像素的特征值中的最大值，確定為該三維網格坐標的體素值；

將對應的三維網格坐標相同的多個像素的特征值中的非零最小值，確定為該三維網格坐標的體素值；

將對應的三維網格坐標相同的多個像素的特征值的平均值，確定為該三維網格坐標的體素值。

5.根據權利要求3所述的方法，其特征在于，基于各通道的圖像特征對應的三維網格，確定鳥瞰圖數據，包括：

對任一通道圖像特征對應的三維網格，沿高度維度進行堆疊；

基于各通道的圖像特征對應的堆疊后的三維網格，確定鳥瞰圖數據。

6.根據權利要求5所述的方法，其特征在于，所述對任一通道圖像特征對應的三維網格，沿高度維度進行堆疊，包括：

對于三維網格坐標中長度維度和寬度維度的坐標相同的多個體素，基于第二預設策略確定該多個體素堆疊后的體素值；

所述第二預設策略包括以下策略之一：

將該多個體素的體素值之和，確定為該多個體素堆疊后的體素值；

將該多個體素的體素值中的最大值，確定為該多個體素堆疊后的體素值；

將該多個體素的體素值中的非零最小值，確定為該多個體素堆疊后的體素值；

將該多個體素的體素值的平均值，確定為該多個體素堆疊后的體素值。

7.根據權利要求5所述的方法，其特征在于，用于對所述鳥瞰圖數據進行三維目標檢測的三維目標檢測網絡中的骨干網絡BACKBONE與頭部網絡HEAD采用二維目標檢測網絡結構，且所述HEAD的輸出包括待檢測目標的三維包圍盒高度h、三維包圍盒在三維坐標系下的高度坐標y以及三維包圍盒偏航角θ。

8.根據權利要求1-7任一項所述的方法，其特征在于，所述雙目圖像的圖像特征通過預先訓練的三維目標檢測網絡中的特征提取模塊實現，

對所述三維目標檢測網絡的訓練，包括：

分別基于所述特征提取模塊提取的圖像特征進行三維目標檢測任務與以及指定語義/實例分割任務；

以所述三維目標檢測任務的損失以及所述指定語義/實例分割任務的損失為反饋，對所述特征提取模塊進行參數調優。