[發明專利]一種物體三維位姿的確定方法、裝置及電子設備

在審

• 申請號: 201810235560.3
• 申請日: 2018-03-21
• 公開（公告）號: CN110298877A
• 公開（公告）日: 2019-10-01
• 發明（設計）人: 趙哲
• 申請（專利權）人: 北京獵戶星空科技有限公司
• 主分類號: G06T7/70
• 分類號: G06T7/70;G06N3/08
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 項京;馬敬

1.一種物體三維位姿的確定方法，其特征在于，所述方法包括：

獲取第一攝像機采集的包括目標物體的目標圖像，其中，所述第一攝像機與放置所述目標物體的平面構成俯視視角，所述目標物體為具有把手的物體；

將所述目標圖像輸入預先訓練完成的深度神經網絡模型進行檢測，獲取所述目標圖像中的目標坐標點，其中，所述目標坐標點為：所述目標物體的把手在所述目標圖像中兩端的成像坐標點；

根據所述目標坐標點和所述把手在世界坐標系中的參數，確定所述把手相對于第一攝像機坐標系的三維位姿。

2.如權利要求1所述的方法，其特征在于，所述根據所述目標坐標點和所述把手在世界坐標系中的參數，確定所述把手相對于所述第一攝像機坐標系的三維位姿的步驟，包括：

根據所述把手的幾何參數，確定所述把手在目標圖像中的兩端對應的世界坐標系中的真實坐標點；

根據所述目標坐標點及所述真實坐標點，確定所述把手相對于第一攝像機坐標系的三維位姿。

3.如權利要求1所述的方法，其特征在于，所述把手在世界坐標系中的參數為所述第一攝像機相對于所述把手的高度；

所述根據所述目標坐標點和所述把手在世界坐標系中的參數，確定所述把手相對于第一攝像機坐標系的三維位姿的步驟，包括：

根據所述第一攝像機相對于所述把手的高度、所述第一攝像機的焦距及所述目標坐標點，確定所述把手相對于第一攝像機坐標系的三維位姿。

4.如權利要求1所述的方法，其特征在于，當所述目標物體為機械臂所要抓取的物體時，所述方法還包括：

根據所述第一攝像機與所述機械臂的相對位置關系，確定所述第一攝像機坐標系與機械臂坐標系的映射關系；

根據所述映射關系及所述把手相對于第一攝像機坐標系的三維位姿，通過坐標變換，確定所述把手相對于所述機械臂坐標系的三維位姿。

5.如權利要求4所述的方法，其特征在于，所述方法還包括：

控制所述機械臂根據所述把手相對于所述機械臂坐標系的三維位姿，對所述把手進行抓取。

6.如權利要求1-5任一項所述的方法，其特征在于，所述深度神經網絡模型的訓練方式，包括：

獲取第二攝像機采集的包括訓練物體的多個圖像樣本，其中，所述第二攝像機與放置所述訓練物體平面構成俯視視角，所述訓練物體具有把手；

標注每個圖像樣本中訓練物體的把手的兩端的坐標點；

將標注后的圖像樣本及其對應的坐標點輸入預先構建的初始深度神經網絡模型進行訓練，得到所述深度神經網絡模型。

7.一種物體三維位姿的確定裝置，其特征在于，所述裝置包括：

目標圖像獲取模塊，用于獲取第一攝像機采集的包括目標物體的目標圖像，其中，所述第一攝像機與放置所述目標物體的平面構成俯視視角，所述目標物體為具有把手的物體；

模型檢測模塊，用于將所述目標圖像輸入通過模型訓練模塊預先訓練完成的深度神經網絡模型進行檢測，獲取所述目標圖像中的目標坐標點，其中，所述目標坐標點為：所述目標物體的把手在所述目標圖像中兩端的成像坐標點；

位姿確定模塊，用于根據所述目標坐標點和所述把手在世界坐標系中的參數，確定所述把手相對于第一攝像機坐標系的三維位姿。

8.如權利要求7所述的裝置，其特征在于，所述位姿確定模塊包括：

真實坐標點確定單元，用于根據所述把手的幾何參數，確定所述把手在目標圖像中的兩端對應的世界坐標系中的真實坐標點；

第一位姿確定單元，用于根據所述目標坐標點及所述真實坐標點，確定所述把手相對于第一攝像機坐標系的三維位姿。

9.一種電子設備，其特征在于，包括處理器、存儲器和通信總線，其中，處理器、存儲器通過通信總線完成相互間的通信；

存儲器，用于存放計算機程序；

處理器，用于執行存儲器上所存放的程序時，實現權利要求1-6任一所述的方法步驟。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質內存儲有計算機程序，所述計算機程序被處理器執行時實現權利要求1-6任一所述的方法步驟。