[發明專利]目標對象3D檢測方法、裝置、介質及設備

有效

• 申請號: 201811446588.8
• 申請日: 2018-11-29
• 公開（公告）號: CN109635685B
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 史少帥;李鴻升;王曉剛
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京思源智匯知識產權代理有限公司 11657
• 代理人: 毛麗琴

1.一種目標對象3D檢測方法，其特征在于，包括：

提取獲取到的場景的點云數據的特征信息；

根據所述點云數據的特征信息對所述點云數據進行語義分割，獲得所述點云數據中的多個點的第一語義信息；

根據所述第一語義信息預測多個點中對應目標對象的至少一個前景點；

根據所述第一語義信息生成所述至少一個前景點各自對應的3D初始框；

根據所述3D初始框確定所述場景中的所述目標對象的3D檢測框，包括：

獲取所述點云數據中的部分區域內的點的特征信息，其中，所述部分區域至少包括一所述3D初始框；

根據所述部分區域內的點的特征信息對所述部分區域內的點進行語義分割，獲得所述部分區域內的點的第二語義信息；

根據所述部分區域內的點的第一語義信息和第二語義信息，確定所述場景中目標對象的3D檢測框。

2.根據權利要求1所述的方法，所述根據所述部分區域內的點的第一語義信息和第二語義信息，確定所述場景中目標對象的3D檢測框，包括：

根據所述部分區域內的點的第一語義信息和第二語義信息，校正所述3D初始框，得到校正后的3D初始框；

根據校正后的3D初始框確定所述場景中目標對象的3D檢測框。

3.根據權利要求2所述的方法，所述根據所述部分區域內的點的所述第一語義信息和所述第二語義信息，校正所述3D初始框，得到校正后的3D初始框，包括：

根據所述部分區域內的點的第一語義信息和第二語義信息，確定所述3D初始框對應目標對象的置信度；

根據所述3D初始框及其置信度確定所述場景中目標對象的3D檢測框。

4.根據權利要求1所述的方法，所述根據所述部分區域內的點所述第一語義信息和所述第二語義信息，確定所述場景中目標對象的3D檢測框，還包括：

根據所述部分區域內的點的第一語義信息和第二語義信息校正所述3D初始框，得到校正后的3D初始框；

根據所述部分區域內的點的第一語義信息和第二語義信息確定所述校正后的3D初始框對應目標對象的置信度；

根據所述校正后的3D初始框及其置信度確定所述場景中目標對象的3D檢測框。

5.根據權利要求1至4中任一項所述的方法，其特征在于，所述部分區域包括：根據預定策略對3D初始框進行邊緣擴展，得到的3D擴展框。

6.根據權利要求5所述的方法，其特征在于，所述3D擴展框，包括：

根據預先設定的X軸方向增量、Y軸方向增量和/或Z軸方向增量，對所述3D初始框進行3D空間擴展，形成包含有所述3D初始框的3D擴展框。

7.根據權利要求5所述的方法，其特征在于，所述根據所述部分區域內的點的特征信息對所述部分區域內的點進行語義分割，獲得所述部分區域內的點的第二語義信息，包括：

根據3D擴展框的預設目標位置，對點云數據中位于所述3D擴展框內的點的坐標信息進行坐標變換，獲取坐標變換后的點的特征信息；

根據坐標變換后的點的特征信息，進行基于所述3D擴展框的語義分割，獲得所述3D擴展框中的點的第二語義特征。

8.根據權利要求7所述的方法，其特征在于，所述根據坐標變換后的點的特征信息，進行基于所述3D擴展框的語義分割，包括：

根據所述前景點的掩膜以及坐標變換后的點的特征信息，進行基于所述3D擴展框的語義分割。

9.根據權利要求1所述的方法，所述前景點為多個，所述根據所述3D初始框確定所述場景中的所述目標對象的3D檢測框，還包括：

確定多個所述前景點對應的3D初始框之間的重疊度；

對重疊度大于設定閾值的3D初始框進行篩選；

根據篩選后的3D初始框確定所述場景中的目標對象的3D檢測框。