[發明專利]視覺感知以及感知網絡訓練方法、裝置、設備和存儲介質

有效

• 申請號: 202010530027.7
• 申請日: 2020-06-11
• 公開（公告）號: CN111785085B
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 周彬;劉宗岱;趙沁平;吳洪宇
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 張娜;劉芳

1.一種感知網絡的訓練方法，其特征在于，包括：

獲取包含感知目標的圖像數據以及模型數據，所述圖像數據包括：二維圖像以及標注，所述模型數據包括：三維模型；

利用預設編輯算法，根據所述二維圖像以及所述三維模型，生成編輯圖像；

根據所述編輯圖像以及所述標注，對待訓練感知網絡進行訓練，以確定感知網絡；

所述利用預設編輯算法，根據所述二維圖像以及所述三維模型，生成編輯圖像，包括：

確定所述感知目標對應的運動部件；

在所述二維圖像中提取出所述運動部件的第一可見區域；

根據所述第一可見區域以及所述三維模型，生成所述編輯圖像；

所述根據所述第一可見區域以及所述三維模型，生成所述編輯圖像，包括：

根據所述運動部件確定所述運動部件的位姿信息，所述位姿信息為所述運動部件在空間6自由度上的運動狀態所組成的矩陣；

利用投影模型，根據所述第一可見區域以及所述位姿信息，生成所述第一可見區域的三維點云；

根據所述三維點云以及所述位姿信息，確定第二可見區域，所述第二可見區域為所述運動部件在運動后位置處的可見區域；

利用填充算法，根據所述第二可見區域以及所述三維模型，生成所述編輯圖像；

所述利用填充算法，根據所述第二可見區域以及所述三維模型，生成所述編輯圖像，包括：

將所述第二可見區域與所述三維模型進行對齊，確定不可見區域；

利用渲染技術，根據所述三維模型，確定所述不可見區域的填充圖像；

將所述填充圖像與所述第二可見區域疊加，并利用疊加后的圖像替換所述二維圖像中的運動部件，以生成所述編輯圖像。

2.根據權利要求1所述的感知網絡的訓練方法，其特征在于，在所述確定第二可見區域之后，還包括：

利用平滑處理算法，對所述第二可見區域進行平滑處理。

3.根據權利要求1-2中任一項所述的感知網絡的訓練方法，其特征在于，所述根據所述編輯圖像以及所述標注，對待訓練感知網絡進行訓練，以確定感知網絡，包括：

利用主骨干網絡以及輔助骨干網絡，分別對所述編輯圖像進行特征提取，以確定主特征以及輔助特征；

將所述主特征以及所述輔助特征進行合并，以得到關聯特征；

根據所述關聯特征以及回歸子網絡，確定所述運動部件的狀態向量；

根據所述狀態向量以及所述標注，對所述待訓練感知網絡進行訓練，以確定所述感知網絡。

4.根據權利要求3所述的感知網絡的訓練方法，其特征在于，所述根據所述狀態向量以及所述標注，對所述待訓練感知網絡進行訓練，以確定所述感知網絡，包括：

根據所述狀態向量以及所述標注計算交叉熵損失函數；

利用所述交叉熵損失函數訓練所述待訓練感知網絡，以確定所述感知網絡。

5.根據權利要求3所述的感知網絡的訓練方法，其特征在于，所述將所述主特征以及所述輔助特征進行合并，以得到關聯特征之前，還包括：

所述主骨干網絡配置有第一權重，所述輔助骨干網絡配置有第二權重；

對所述主骨干網絡以及所述輔助骨干網絡進行預訓練，確定所述第一權重以及所述第二權重。

6.根據權利要求5所述的感知網絡的訓練方法，其特征在于，所述預訓練，包括：

獲取實際測試圖像以及通用檢測圖像；

利用所述實際測試圖像對所述主骨干網絡進行感知訓練；

利用所述通用檢測圖像對所述輔助骨干網絡進行感知訓練。

7.根據權利要求3所述的感知網絡的訓練方法，其特征在于，所述主骨干網絡與所述輔助骨干網絡為相同的目標檢測網絡。