[發明專利]機器人系統中的細粒度物體識別

有效

• 申請號: 201880003293.5
• 申請日: 2018-03-05
• 公開（公告）號: CN109643448B
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 蔣偉;王煒
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62
• 代理公司: 北京龍雙利達知識產權代理有限公司 11329
• 代理人: 王龍華;王君

1.一種用于機器人系統中的實例級物體識別的方法，其特征在于，所述方法包括：

從成像設備獲取物體的圖像；

基于所述物體的圖像以及存儲在所述機器人系統中的預定義類別級物體圖像，通過類別級深度檢測神經網絡確定所述物體的預定義類別以及多個預定義物體類別；

生成由所述類別級深度檢測神經網絡確定的物體的預定義類別的特征映射；

使用與所述物體的預定義類別對應的實例級深度檢測神經網絡，基于特征圖生成嵌入特征，其中所述多個預定義物體類別中的每個預定義類別包括對應的不同實例級深度檢測神經網絡；

基于所述嵌入特征的分類識別所述物體的實例級；

由所述機器人系統基于所述物體的實例級識別情況執行機器人操作。

2.根據權利要求1所述的方法，其特征在于，獲取所述物體的圖像包括獲取所述物體的多個圖像，每個圖像從不同的透視和/或照明條件獲取。

3.根據權利要求2所述的方法，其特征在于，還包括使用深度檢測神經網絡為所述多個圖像的每個圖像生成熱圖，所述熱圖強調所述多個圖像中的類別級物體。

4.根據權利要求3所述的方法，其特征在于，生成所述熱圖包括為所述多個圖像的每個像素生成關注值，其中關注值越高對應于所述像素是感興趣前景物體的可能性越高。

5.根據權利要求4所述的方法，其特征在于，還包括基于所述熱圖生成二值物體掩模圖像，其中關注值高于閾值的像素被標記為第一邏輯狀態，而所有其他像素被標記為與所述第一邏輯狀態相反的第二邏輯狀態。

6.根據權利要求5所述的方法，其特征在于，還包括基于標記為所述第一邏輯狀態的像素從所述掩模圖像中提取所述類別級物體。

7.根據權利要求6所述的方法，其特征在于，還包括訓練所述深度檢測神經網絡以識別所述類別級物體的實例級物體包括基于提取的所述類別級物體以及從包含提取所述類別級物體的最小矩形框生成的增強訓練數據來識別所述物體的實例級。

8.根據權利要求7所述的方法，其特征在于，生成所述增強訓練數據包括：

從所述掩模圖像中去除與提取的所述類別級物體相對應的圖像像素；

將去除的與提取的所述類別級物體相對應的圖像像素嵌入到一組背景場景圖像中以生成設置的背景場景圖像，而不將所述物體用作增強性訓練圖像。

9.根據權利要求1-8中任一項所述的方法，其特征在于，還包括通過所述機器人系統部署環境常見的預定義物體類別來訓練所述預定義物體類別上的深度檢測神經網絡。

10.根據權利要求1-8中任一項所述的方法，其特征在于，訓練所述深度檢測神經網絡還包括為每個類別級物體生成前向計算的特征映射。

11.根據權利要求10所述的方法，其特征在于，訓練所述深度檢測神經網絡以識別實例級物體包括：

基于所述前向計算的特征映射生成所述嵌入特征；

調整所述類別級物體檢測以基于所述嵌入特征確定所述實例級物體的識別情況。