[發明專利]三維(3D)輔助個性化家庭對象檢測

在審

• 申請號: 201980090046.8
• 申請日: 2019-06-18
• 公開（公告）號: CN113330490A
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 蔣偉;王煒
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00
• 代理公司: 北京龍雙利達知識產權代理有限公司 11329
• 代理人: 李輝;王君

用于對象檢測的視覺系統，該系統從多個視圖接收包括對象的二維(2D)圖像集合的訓練數據集。基于重建期間選擇的對象的顯著點，從2D圖像集合重建3D模型集合，以生成對象的顯著3D模型，該顯著3D模型是3D模型集合中的對象的顯著點的聚合。在訓練數據集的第一訓練數據集中的2D圖像集合和使用第一訓練數據集生成的對象的顯著3D模型之間生成訓練的2D?3D對應數據的集合。使用通過第一訓練數據集生成的訓練的2D?3D對應數據的集合來訓練深度神經網絡，以用于對象檢測和分割。

交叉引用

本申請要求于2019年01月31日提交、序列號為No.62/799,230，申請名稱為“三維(3D)輔助個性化家庭目標檢測”的美國臨時專利申請的優先權，其全部內容通過引用結合在本申請中。

技術領域

本公開通常涉及對象檢測，并且更具體地，涉及對象分割和姿態估計。

背景技術

計算機視覺中的對象檢測允許計算系統通過從圖像中定位對象來理解圖像或圖像集合。計算系統能夠準確地檢測和定位圖像中的對象，具有廣泛的應用前景，例如基于內容的搜索，定向廣告、駕駛和醫療診斷。但是，在對象識別方法和系統中，教會計算系統檢測和定位落入同一類或類別中的特定對象或部分對象，這是一個挑戰，但是這些對象和部分對象在給定圖像中也不具有一致的或可識別的特征。

計算機視覺技術在利用標簽圖像訓練識別系統的全監督的對象識別中取得了巨大的成功。但是，全監督的對象識別需要大量標記的訓練數據，獲取成本高且并不總是可用的，因為大部分標記的訓練數據都是通過人工標記圖像來創建的。為了避免需要大量的人工參與，已經提出了許多無監督的方法來訓練對象檢測系統。雖然已經取得了重要進展，但這些無監督的方法需要一定的條件，例如，大量占用前景對象，排除不相關的其他對象類型以及干凈的背景。這些條件限制了無監督的對象識別的應用。

發明內容

根據本公開的一個方面，提供一種用于對象檢測的計算機實現的方法，包括從多個視圖接收包括所述對象的二維(2D)圖像集合的一個或多個訓練數據集，其中，所述2D圖像集合針對所述一個或多個訓練數據集中的每一個是以不同的設置捕獲的；基于重建期間選擇的所述對象的顯著點，從所述一個或多個訓練數據集中的每一個中的所述2D圖像集合重建3D模型集合，以生成所述對象的一個或多個顯著3D模型，所述顯著3D模型是所述3D模型集合中的所述對象的所述顯著點的聚合；在所述一個或多個訓練數據集的第一訓練數據集中的所述對象的所述2D圖像集合與使用所述第一訓練數據集生成的所述對象的所述顯著3D模型之間生成訓練的2D-3D對應數據的集合；以及使用通過所述第一訓練數據集生成的所述訓練的2D-3D對應數據的集合來訓練深度神經網絡，以用于對象檢測和分割。

可選地，在前述任一方面中，所述的計算機實現的方法，還包括計算所述3D模型集合中每個匹配的3D模型集合的匹配的3D點集合；計算六自由度(6DoF)的旋轉和平移，以轉換所述匹配的3D模型集合。細化所述6DoF的旋轉和平移，以將所述3D模型中的每一個對齊到統一的3D世界坐標系中，并且通過對齊所述3D模型集合中的所述3D模型中的每一個生成統一的3D模型；以及使用所述深度神經網絡確定所述對象的3D顯著部分集合，以生成所述對象的所述顯著3D模型。

可選地，在前述任一方面中，所述3D模型是所述對象的3D點云，并且所述3D點云中的每一個點都記錄了所述點在3D空間中的3D坐標；以及所述計算機實現的方法還包括從所述3D點云中的每一個點計算特征表示，作為基于相應2D圖像中相應像素的視覺外觀計算的特征向量。

可選地，在前述任一方面中，所述計算機實現的方法，還包括刪減所述訓練的2D-3D對應數據的集合，以減少所述2D圖像集合中的噪聲。