[發明專利]三維物體檢測方法、裝置、設備及存儲介質

在審

• 申請號: 202110018268.8
• 申請日: 2021-01-07
• 公開（公告）號: CN112819880A
• 公開（公告）日: 2021-05-18
• 發明（設計）人: 周定富;宋希彬;方進;張良俊
• 申請（專利權）人: 北京百度網訊科技有限公司;百度(美國)有限責任公司
• 主分類號: G06T7/60
• 分類號: G06T7/60;G06T7/73;G06N3/08;G06N3/04
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種三維物體檢測方法，包括：

獲取待檢測的單幀彩色圖像；

獲取所述單幀彩色圖像的前景物體特征和物體約束特征；

根據所述前景物體特征和所述物體約束特征對所述單幀彩色圖像進行三維物體檢測。

2.根據權利要求1所述的方法，其中，所述獲取所述單幀彩色圖像的前景物體特征，包括：

將所述單幀彩色圖像輸入至深度特征估計網絡；

獲取所述深度特征估計網絡的第一輸出數據，作為所述單幀彩色圖像的深度圖像特征；

將所述深度圖像特征輸入至兩層全連接神經網絡；

獲取所述兩層全連接神經網絡的第二輸出數據，作為熱力分布特征；

根據所述深度圖像特征和所述熱力分布特征獲取所述前景物體特征。

3.根據權利要求2所述的方法，其中，所述根據所述深度圖像特征和所述熱力分布特征獲取所述前景物體特征，包括：

根據所述熱力分布特征確定前景物體對象；

獲取所述前景物體對象的坐標位置數據；

根據所述坐標位置數據從所述深度圖像特征中提取目標深度圖像特征，作為目標前景物體特征；

根據所述目標前景物體特征構建所述前景物體特征。

4.根據權利要求1所述的方法，其中，所述獲取所述單幀彩色圖像的物體約束特征，包括：

將所述前景物體特征輸入至物體級別transformer網絡；

獲取所述物體級別transformer網絡的第三輸出數據；

將所述第三輸出數據輸入至兩層全連接神經網絡，得到第四輸出數據；

將所述第四輸出數據作為所述物體約束特征。

5.根據權利要求4所述的方法，其中，所述獲取所述物體級別transformer網絡的第三輸出數據，包括：

將所述前景物體特征輸入至所述物體級別transformer網絡的物體編碼器；

獲取所述物體編碼器的編碼輸出結果，并將所述編碼輸出結果輸入至所述物體級別transformer網絡的物體譯碼器；

獲取所述物體譯碼器的譯碼輸出結果，作為所述第三輸出數據。

6.根據權利要求5所述的方法，其中，所述獲取所述物體編碼器的編碼輸出結果，包括：

根據所述前景物體特征和二維位置信息編碼獲取第一物體特征向量；

將所述第一物體特征向量輸入至所述物體編碼器的第一多頭注意力模塊，得到第一注意力模塊輸出數據；

將所述第一注意力模塊輸出數據與所述第一物體特征向量進行相加處理，得到第一相加處理結果，并對所述第一相加處理結果進行歸一化處理，得到第一歸一化輸出數據；

將所述第一歸一化輸出數據輸入至所述物體編碼器的前向網絡，得到第一前向網絡輸出數據；

將所述第一歸一化輸出數據和所述第一前向網絡輸出數據進行相加處理，得到第二相加處理結果，并對所述第二相加處理結果再次進行歸一化處理，得到所述編碼輸出結果。

7.根據權利要求5所述的方法，其中，所述獲取所述物體編碼器的編碼輸出結果，包括：

根據初始物體向量和二維位置信息編碼獲取第二物體特征向量；

將所述第二物體特征向量輸入至所述物體譯碼器的第二多頭注意力模塊，得到第二注意力模塊輸出數據；

將所述第二注意力模塊輸出數據與所述第二物體特征向量進行相加處理，得到第三相加處理結果，并對所述第三相加處理結果進行歸一化處理，得到第三歸一化輸出數據；

將所述第三歸一化輸出數據和所述編碼輸出結果輸入至所述物體譯碼器的第三多頭注意力模塊，得到第三注意力模塊輸出數據；

將所述第三注意力模塊輸出數據與所述第三歸一化輸出數據進行相加處理，得到第四相加處理結果，并對所述第四相加處理結果進行歸一化處理，得到第四歸一化輸出數據；

將所述第四歸一化輸出數據輸入至所述物體譯碼器的前向網絡，得到第二前向網絡輸出數據；

將所述第四歸一化輸出數據和所述第二前向網絡輸出數據進行相加處理，得到第五相加處理結果，并對所述第五相加處理結果再次進行歸一化處理，得到所述譯碼輸出結果。