[發明專利]一種基于改進霍夫投票的點云目標檢測方法

有效

• 申請號: 202110372557.8
• 申請日: 2021-04-07
• 公開（公告）號: CN113095205B
• 公開（公告）日: 2022-07-12
• 發明（設計）人: 盛律;徐東;程博文
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06V20/13
• 分類號: G06V20/13;G06V10/764;G06V10/80;G06V10/82;G06K9/62;G06N3/08
• 代理公司: 北京慕達星云知識產權代理事務所(特殊普通合伙) 11465
• 代理人: 符繼超

本發明公開了一種基于改進霍夫投票的點云目標檢測方法，包括：獲取點云圖像數據集；對點云圖像數據集進行特征提取，生成種子點及每個種子點特征；預測種子點偏移，并將種子點特征轉換為投票點特征；將投票點特征轉換為投票點到對應物體檢測框六個面的距離偏移，獲得三維物體的預測區域；重訪種子點，利用球查詢獲取每個代表點鄰近的種子點，生成投票點對應的代表點特征；融合投票點與代表點特征，生成融合特征；根據融合特征對物體檢測框進行位置修正和語義分類，得到物體檢測結果。本發明能夠更好地捕獲點云圖像數據集中潛在對象周圍的精細局部結構特征，彌補投票點質量差的問題，實現更可靠、更靈活的物體定位和分類能力。

技術領域

本發明涉及機器人、自動駕駛等計算機視覺技術領域，更具體的說是涉及一種基于改進霍夫投票的點云目標檢測方法。

背景技術

目前，在基于點云的三維物體檢測領域中，通常采用VoteNet和H3DNet檢測網絡。VoteNet使用了端到端的可訓練霍夫投票模塊來生成物體檢測框提議，但是，這種投票策略產生的投票點質量較差，常常只能接收來自潛在物體表面的部分投票，并且通常包含來自雜亂背景的異常投票點，兩者妨礙了對于原始輸入點云信息的充分利用。

為解決上述問題，引入MLCVNet，HGNet和3DSSD方法，分別通過環境上下文信息，層次圖神經網絡和特征空間的最遠點采樣策略來更好的生成物體檢測框提議。但是，這些方法依然嚴重依賴于VoteNet中提出的投票點，這些投票點在位置上不夠可靠，且不可避免地受到離群點影響并忽略一部分物體表面的種子點。

H3DNet通過引入一組混合的過完備幾何圖元來嘗試解決這個問題，以改善聚類投票預測的初始邊界框。但是這些幾何圖元中心是在不太精確的監督下學習的，并且通過和投票點聚類類似的聚類策略，因此仍然可能無法消除異常值或捕獲足夠的幾何線索來推斷目標對象。

因此，如何提供一種能夠更好地捕獲原始點云中潛在對象周圍的精細局部結構特征，來彌補投票點質量較差的問題的基于改進霍夫投票的點云目標檢測方法是本領域技術人員亟需解決的問題。

發明內容

有鑒于此，本發明提供了一種基于改進霍夫投票的點云目標檢測方法，通過反向跟蹤操作，能夠更好地捕獲點云圖像數據集中潛在對象周圍的精細局部結構特征，進而彌補投票點質量差的問題，實現更可靠、更靈活的物體定位和分類能力。

為了實現上述目的，本發明采用如下技術方案：

一種基于改進霍夫投票的點云目標檢測方法，包括：

獲取帶語義標注和實例分割標注的三維物體的點云圖像數據集；

構建基于PointNet++的點云特征提取網絡，利用所述點云特征提取網絡對所述點云圖像數據集進行特征提取，生成種子點及每個種子點的三維坐標和語義特征向量；

構建霍夫投票及聚類模塊，所述霍夫投票及聚類模塊利用多層感知機預測種子點的偏移，并根據種子點的偏移得到投票點三維坐標和語義特征向量；

構建代表點生成模塊，所述代表點生成模塊利用多層感知機預測物體檢測框、投票點到其所對應的物體檢測框六個面的距離偏移以及物體檢測框朝向，獲得三維物體的預測區域，并在所述預測區域內有策略地進行均勻采樣，生成每個投票點對應所述物體檢測框的每組代表點的三維坐標；

構建種子點特征抽取模塊，所述種子點特征抽取模塊利用球查詢獲取每個代表點鄰近的種子點，并將得到的所有種子點的語義特征向量進行聚類，生成每個代表點的語義特征向量；

構建融合模塊，所述融合模塊按照預先定義的順序將每個投票點所對應的每組代表點的語義特征向量連接在一起，并投影到和投票點語義特征相同的特征維數，重新生成該投票點相關的種子點特征，將投票點語義特征向量和重新生成的種子點語義特征向量進行融合，得到融合語義特征向量；