[發明專利]網絡模型訓練方法、裝置及物體位姿確定方法、裝置

在審

• 申請號: 201810236244.8
• 申請日: 2018-03-21
• 公開（公告）號: CN110298370A
• 公開（公告）日: 2019-10-01
• 發明（設計）人: 趙哲
• 申請（專利權）人: 北京獵戶星空科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 馬敬;項京

1.一種深度神經網絡模型訓練方法，其特征在于，所述方法包括：

獲取具有標注數據的多個圖像樣本，其中，所述圖像樣本包括訓練物體，所述標注數據包括基于視覺定位標識獲取的所述訓練物體在圖像樣本中的三維邊框的頂點坐標，所述視覺定位標識為帶有特定圖案的平板；

基于所述圖像樣本對預先構建的初始深度神經網絡進行訓練，得到所述深度神經網絡模型，其中，所述深度神經網絡模型用于對包含物體的圖像進行檢測并輸出所述物體在所述圖像中的三維邊框的頂點坐標。

2.根據權利要求1所述的方法，其特征在于，所述標注數據還包括物體類別標簽；

所述深度神經網絡模型還用于對包含物體的圖像進行檢測，并輸出所述圖像中的所述物體的類別。

3.根據權利要求1所述的方法，其特征在于，獲取所述標注數據包括的所述訓練物體在圖像樣本中的三維邊框的頂點坐標的方式，包括：

確定所述訓練物體與所述視覺定位標識的相對位置關系；

根據所述訓練物體的幾何參數及所述相對位置關系，確定所述訓練物體在視覺定位標識坐標系中的三維邊框的頂點坐標，作為標識頂點坐標；

根據所述視覺定位標識的圖案信息確定所述視覺定位標識坐標系相對于攝像機坐標系的轉換矩陣；

根據所述轉換矩陣和采集所述圖像樣本的攝像機的內參矩陣，確定所述標識頂點坐標投影在所述訓練圖像中的三維邊框的頂點坐標。

4.一種物體三維位姿確定方法，其特征在于，所述方法包括：

獲取攝像機采集的包含目標物體的目標圖像；

將所述目標圖像輸入深度神經網絡模型中進行檢測，獲得目標頂點坐標，其中，所述目標頂點坐標為：所述目標物體在所述目標圖像中的三維邊框的頂點坐標，所述深度神經網絡模型通過權利要求1-3任一項所述的方法訓練得到；

根據所述目標頂點坐標及所述目標物體的目標幾何參數，確定所述目標物體相對于攝像機坐標系的三維位姿。

5.根據權利要求4所述的方法，其特征在于，所述根據所述目標頂點坐標及所述目標物體的目標幾何參數，確定所述目標物體相對于攝像機坐標系的三維位姿，包括：

根據所述目標物體的目標幾何參數確定所述目標物體在世界坐標系中的三維邊框的頂點坐標，作為參考頂點坐標；

根據所述目標頂點坐標與所述參考頂點坐標的投影關系，計算所述目標物體相對于所述攝像機坐標系的三維位姿。

6.根據權利要求4所述的方法，其特征在于，當所述深度神經網絡模型輸出所述目標物體的目標類別時，在所述根據所述目標頂點坐標及所述目標物體的目標幾何參數，確定所述目標物體相對于攝像機坐標系的三維位姿的步驟之前，還包括：

根據所述深度神經網絡模型輸出的所述目標物體的目標類別，以及預先建立的類別與幾何參數的對應關系，確定所述目標物體的目標幾何參數。

7.一種深度神經網絡模型訓練裝置，其特征在于，所述裝置包括：

圖像樣本獲取模塊，用于獲取具有標注數據的多個圖像樣本，其中，所述圖像樣本包括訓練物體，所述標注數據包括基于視覺定位標識獲取的所述訓練物體在圖像樣本中的三維邊框的頂點坐標，所述視覺定位標識為帶有特定圖案的平板；

模型訓練模塊，用于基于所述圖像樣本對預先構建的初始深度神經網絡進行訓練，得到所述深度神經網絡模型，其中，所述深度神經網絡模型用于對包含物體的圖像進行檢測并輸出所述物體在所述圖像中的三維邊框的頂點坐標。

8.一種物體三維位姿確定裝置，其特征在于，所述裝置包括：

目標圖像獲取模塊，用于獲取攝像機采集的包含目標物體的目標圖像；

頂點坐標獲取模塊，用于將所述目標圖像輸入深度神經網絡模型中進行檢測，獲得目標頂點坐標，其中，所述目標頂點坐標為：所述目標物體在所述目標圖像中的三維邊框的頂點坐標，所述深度神經網絡模型通過權利要求1-3任一項所述的裝置訓練得到；

三維位姿確定模塊，用于根據所述目標頂點坐標及所述目標物體的目標幾何參數，確定所述目標物體相對于攝像機坐標系的三維位姿。