[發明專利]一種應用于三維目標檢測的數據增強方法

在審

• 申請號: 202111560856.0
• 申請日: 2021-12-14
• 公開（公告）號: CN114219748A
• 公開（公告）日: 2022-03-22
• 發明（設計）人: 郭烈;黃亮;趙劍;劉蓬勃;岳明;李剛;余旭東;殷廣
• 申請（專利權）人: 大連理工大學寧波研究院;大連理工大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T7/10
• 代理公司: 大連東方專利代理有限責任公司 21212
• 代理人: 魯保良;李洪福

本發明公開了一種應用于三維目標檢測的數據增強方法，通過隨機改變生成網格狀蒙版尺寸比例來對網絡進行不同的信息丟失，當比例較小時，生成更加密集的信息丟失網格蒙版，當網格比例較大時，生成比較稀疏的信息丟失網絡蒙版。通過合理調節網格比例可以在增加數據集規模的同時保留目標點云關鍵信息，防止深度神經網絡無法收斂。相較于傳統的將邊界框劃分為數塊小邊界框，離散網格蒙版即使在網格比例較大時也能保留目標點云的關鍵信息。本發明可以在每次進行信息丟失操作過程中針對相同的目標框產生不同的數據增強效果，顯著的提高了數據集的規模，使得訓練得到的深度學習模型具有更好的魯棒性。

技術領域

本發明涉及計算機視覺的數據預處理方法，特別是一種應用于三維目標檢測的數據增強方法。

背景技術

三維目標檢測是指從場景中確定目標的位置并識別目標的類別，包括對目標的精確定位和分類兩個過程。目前的三維目標檢測包括基于相機的三維目標檢測和基于激光雷達的三維目標檢測。相機具有低成本和信息豐富等優點，但是其無法提供精確的深度信息，當前基于視覺的三維目標檢測方法很難取得和基于激光雷達的方法相近的性能；而基于激光雷達的目標檢測方法是：激光雷達傳感器通過對地物表面進行三維掃描采樣，快速獲取大規模、無結構、無序的三維點云數據，其中每個點均包含空間坐標(x，y，z)和某些屬性信息(如反射強度intensity)，是現實世界簡單而真實的表征。基于激光雷達的目標檢測方法能夠提供精準的目標位置、尺寸以及行駛方向等信息，對自動駕駛的安全性起到了至關重要的作用。

深度神經網絡的迅速成功極快的推動了自動駕駛的發展，其中基于深度學習的激光點云檢測算法在檢測精度上很快超越了傳統的點云聚類算法。通過引入深度神經網絡讓模型從數據中自主學習點云特征的效果遠好于傳統的手工設計特征提取模塊。但是目前用于三維目標檢測的深度神經網絡有數以百萬計的參數，需要大量的訓練數據才能獲得較好的效果，否則就會出現嚴重的過擬合問題。對于目標檢測任務而言，數據采集和標注需要對每一幀點云的全部目標周圍繪制邊界框，這個過程需要手工勞動，會產生高昂的時間成本和價格成本。

為了解決上述問題，許多學者和研究人員提出了很多方法，其中數據增強是一種十分有效地防止過擬合的方法，通過從現有的訓練樣例中創建新的訓練樣例來擴充訓練集的規模，可以較為簡單的訓練更加精確和穩定的深度神經網絡，目前幾乎所有目標檢測算法都使用了基本的數據增強技術。現有的計算機視覺增強方法大致可分為三類：空間變換、顏色失真以及信息丟棄三種。空間變換包括隨機縮放、裁減、翻轉以及旋轉等；顏色失真包括改變圖像的亮度、色調等。這兩種方法通過對信息進行一些轉換來模擬真實場景來擴充數據集規模，而信息丟失則通過隨機擦除、剪切等方式刪除掉數據中的部分信息，讓深度神經網絡學習到原本不太敏感或重要的信息，增加感知的范圍從而提高模型的魯棒性。

目前已有較多關于二維圖像增強的論文，但目前對三維目標檢測的研究仍然較少，三維目標點云之間復雜的相互作用、相互遮擋以及視角和比例的變化，使得獲得準確的三維世界理解仍然是一個挑戰問題。雖然二維與三維目標檢測任務較為相似，但是由于激光點云相較二維圖像數據量較大，并具有稀疏性、無序性等特點，并不能直接使用比較成熟的二維圖像增強方法，因此目前通過數據增強擴充激光點云數據集規模以防止過擬合的方法還需要進一步研究。

由于信息丟失具有較小的計算成本和較好的增強效果，近年來受到了很多研究者的關注，如何避免對目標點云進行過度刪除或保留是信息丟失增強方法的核心要求，一個成功的信息丟失方法應當在數據區域信息的刪除和保留之間得到合理的平衡。一方面，過度的刪除點云信息會使完全無法分辨出背景點云和目標點云之間的界限，使深度神經網絡將該信息不足的目標點云當作是圖像噪聲；另一方面，過度的保留點云信息會使一些目標完全不被觸及，從而導致深度神經網絡的魯棒性較差。

發明內容

為解決現有技術存在的上述問題，本發明要設計一種既能分辨出背景點云和目標點云之間的界限，又能提高深度神經網絡的魯棒性的應用于三維目標檢測的數據增強方法。