[發明專利]三維(3D)輔助個性化家庭對象檢測

在審

• 申請號: 201980090046.8
• 申請日: 2019-06-18
• 公開（公告）號: CN113330490A
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 蔣偉;王煒
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00
• 代理公司: 北京龍雙利達知識產權代理有限公司 11329
• 代理人: 李輝;王君

1.一種用于對象檢測的計算機實現的方法，包括：

從多個視圖接收包括所述對象的二維(2D)圖像集合的一個或多個訓練數據集，其中，所述2D圖像集合針對所述一個或多個訓練數據集中的每一個是以不同的設置捕獲的；

基于重建期間選擇的所述對象的顯著點，從所述一個或多個訓練數據集中的每一個中的所述2D圖像集合重建3D模型集合，以生成所述對象的一個或多個顯著3D模型，所述顯著3D模型是所述3D模型集合中的所述對象的所述顯著點的聚合；

在所述一個或多個訓練數據集的第一訓練數據集中的所述對象的所述2D圖像集合與使用所述第一訓練數據集生成的所述對象的所述顯著3D模型之間生成訓練的2D-3D對應數據的集合；以及

使用通過所述第一訓練數據集生成的所述訓練的2D-3D對應數據的集合來訓練深度神經網絡，以用于對象檢測和分割。

2.根據權利要求1所述的計算機實現的方法，還包括：

計算所述3D模型集合中每個匹配的3D模型集合的匹配的3D點集合；

計算六自由度(6DoF)的旋轉和平移，以轉換所述匹配的3D模型集合。

細化所述6DoF的旋轉和平移，以將所述3D模型中的每一個對齊到統一的3D世界坐標系中，并且通過對齊所述3D模型集合中的所述3D模型中的每一個生成統一的3D模型；以及

使用所述深度神經網絡確定所述對象的3D顯著部分集合，以生成所述對象的所述顯著3D模型。

3.根據權利要求1至2中任一項所述的計算機實現的方法，其中，所述3D模型是所述對象的3D點云，并且所述3D點云中的每一個點都記錄了所述點在3D空間中的3D坐標；以及

所述計算機實現的方法還包括：從所述3D點云中的每一個點計算特征表示，作為基于相應2D圖像中相應像素的視覺外觀計算的特征向量。

4.根據權利要求1至3中任一項所述的計算機實現的方法，還包括：刪減所述訓練的2D-3D對應數據的集合，以減少所述2D圖像集合中的噪聲。

5.根據權利要求1至4中任一項所述的計算機實現的方法，其中，訓練所述深度神經網絡包括：

接收所述訓練的2D-3D對應數據的集合；

使用所述深度神經網絡處理所述訓練的2D-3D對應數據的集合，以生成所述2D-3D對應數據的2D點；

使用損失函數計算所述2D點和地面真值2D點之間的損失；

基于所計算的損失計算梯度；以及

基于所計算的損失和所計算的梯度更新網絡參數。

6.根據權利要求1至5中任一項所述的計算機實現的方法，還包括：在對象檢測網絡上接收一個或多個新的2D圖像，所述對象檢測網絡生成對象邊界框作為所述訓練的深度神經網絡的輸入。

7.根據權利要求1至6中任一項所述的計算機實現的方法，還包括：

使用所述訓練的深度神經網絡檢測在所述對象邊界框中識別的所述對象，而無需執行所述一個或多個新的2D圖像的3D重建；以及

輸出通過所述訓練的深度神經網絡檢測到的所述對象的定位信息和表面坐標。

8.根據權利要求1至7中任一項所述的計算機實現的方法，其中，所述訓練的深度神經網絡通過以下方式處理所述對象邊界框，

將所述一個或多個新的2D圖像卷積，以提取特征，提取的特征形成特征圖；

通過將區域建議方法應用于所述特征圖來創建感興趣區域(Rols)；

通過對齊所述特征圖和對象特征圖的邊界來提供所述一個或多個2D圖像的所述Rols和所述特征圖，以細化所述Rols；以及

基于所細化的Rols輸出所述對象的所述定位信息和分類結果，其中所述定位信息定義了所述對象在所述圖像中的位置，并且所述分類結果估計了所述對象的所述表面坐標。