[發明專利]估計物體姿態的方法和裝置、電子設備

在審

• 申請號: 202011503824.2
• 申請日: 2020-12-18
• 公開（公告）號: CN114723809A
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 汪昊;李煒明;劉洋;考月英;王強;金知姸;張現盛;洪性勳
• 申請（專利權）人: 北京三星通信技術研究有限公司;三星電子株式會社
• 主分類號: G06T7/70
• 分類號: G06T7/70;G06T7/136;G06V10/44;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 張軍;曾世驍

1.一種估計物體姿態的方法，包括：

通過利用單階段深度神經網絡對輸入的單幀圖像進行處理來獲得實例分割圖像和標準化物體坐標空間NOCS圖；

根據NOCS圖和實例分割圖像來獲得2D-3D映射關系；

根據所述2D-3D映射關系來確定所述單幀圖像中的物體實例的姿態。

2.如權利要求1所述的方法，還包括：利用單階段深度神經網絡對所述單幀圖像進行處理來獲得像素坐標誤差圖，

其中，獲得2D-3D映射關系的步驟包括：通過利用NOCS圖和實例分割圖像來獲得在所述單幀圖像中的所述物體實例內部的像素點和所述像素點的NOCS點以建立所述物體實例的初步2D-3D映射關系；以及利用像素坐標誤差圖去除所述初步2D-3D映射關系中的異常2D-3D映射來獲得所述2D-3D映射關系。

3.如權利要求2所述的方法，其中，像素坐標誤差圖中的每個誤差值表示針對所述單幀圖像中的每個像素點預測的NOCS坐標值與真實的NOCS坐標值之間的差異。

4.如權利要求2或3所述的方法，其中，利用像素坐標誤差圖去除所述初步2D-3D映射關系中的異常2D-3D映射來獲得所述2D-3D映射關系的步驟包括：

確定像素坐標誤差圖中比預定閾值大的誤差值；

從所述初步2D-3D映射關系中去除對應于與比所述預定閾值大的誤差值相應的NOCS點的2D-3D映射以獲得所述2D-3D映射關系。

5.如權利要求2或3所述的方法，其中，利用單階段深度神經網絡對輸入的單幀圖像進行處理的步驟包括：利用單階段深度神經網絡中的特征提取模塊對所述單幀圖像進行特征提取處理來獲得多個尺度下的圖像特征。

6.如權利要求5所述的方法，其中，獲得NOCS圖的步驟包括：

通過利用單階段深度神經網絡中的多級特征融合模塊對所述多個尺度下的圖像特征進行融合處理來獲得單個尺度下的圖像特征；

通過利用單階段深度神經網絡中的第一卷積模塊對所述單個尺度下的圖像特征進行卷積處理來獲得NOCS圖。

7.如權利要求6所述的方法，其中，利用單階段深度神經網絡對所述單幀圖像進行處理來獲得像素坐標誤差圖的步驟包括：通過利用所述第一卷積模塊對所述單個尺度下的圖像特征進行卷積處理來獲得像素坐標誤差圖。

8.如權利要求6所述的方法，其中，獲得實例分割圖像的步驟包括：

通過利用單階段深度神經網絡中的第二卷積模塊對所述單個尺度下的圖像特征進行卷積處理來獲得掩膜特征圖像；

通過利用單階段深度神經網絡中的第三卷積模塊分別對所述多個尺度下的圖像特征中的每個尺度的圖像特征進行對應的卷積處理來獲得每個尺度下的物體類別圖像和掩膜卷積權重；

通過對掩膜特征圖像和多個尺度下的掩膜卷積權重進行卷積處理來獲得多個尺度下的實例掩膜圖像；

通過利用所述多個尺度下的實例掩膜圖像和多個尺度下的物體類別圖像來獲得實例分割圖像。

9.如權利要求1或2所述的方法，其中，根據所述2D-3D映射關系來確定所述單幀圖像中的物體實例的姿態的步驟包括：

如果存在與所述單幀圖像對應的深度圖像，則根據所述2D-3D映射關系和所述深度圖像來確定3D-3D映射關系，并通過利用所述3D-3D映射關系來確定所述物體實例的姿態和尺寸。

10.如權利要求1或2所述的方法，其中，根據所述2D-3D映射關系來確定所述單幀圖像中的物體實例的姿態的步驟包括：

如果不存在與所述單幀圖像對應的深度圖像，則通過利用所述2D-3D映射關系確定相機坐標系和物體坐標系之間的3D旋轉和3D平移變換，以確定所述物體實例在特定尺寸下的姿態。