[發明專利]一種運動感知模型的訓練方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110223264.3
• 申請日: 2021-02-26
• 公開（公告）號: CN112966584A
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 李嘉茂;王賢舜;朱冬晨;張曉林
• 申請（專利權）人: 中國科學院上海微系統與信息技術研究所
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08;G06N20/00
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;賈允

本發明涉及一種運動感知模型的訓練方法、裝置、電子設備及存儲介質，包括獲取訓練圖像組集合和每一訓練圖像組對應的標簽光流信息，對每一訓練圖像組進行特征提取處理，確定多個目標特征圖集，從每一目標特征圖集中，確定每一訓練圖像組對應的預測光流信息，根據標簽光流信息和預測光流信息，確定每一目標特征圖集對應的損失信息，基于每一目標特征圖集對應的損失信息對當前機器學習模型的參數進行調整，當對當前機器學習模型的參數進行調整的次數大于預設閾值時，將當前機器學習模型確定為運動感知模型，將損失信息對應的模型參數確定為運動感知模型的參數。本申請可以監督中間的特征層的采樣所得到感知信息，提高模型輸出的運動狀態的精確性。

技術領域

本發明涉及深度學習領域，尤其涉及一種運動感知模型的訓練方法、裝置、電子設備及設存儲介質。

背景技術

隨著深度學習技術的不斷發展，人們使用神經網絡對運動物體進行分割，現有基于神經網絡對運動物體進行感知的方法，主要是基于Tokmakov提出的一種運動顯著性估計的網絡結構，該網絡是一種端到端的網絡結構，即在網絡的一端輸入光流場，在另一端解碼輸出運動顯著性的地圖。由于該網絡是通過大感受野感知場景的整體運動狀態，因此，在網絡設計過程中，會對中間的特征層進行采樣，但是在該網絡只監督最后一層的輸出，因此很難保證對中間的特征層的采樣所得到感知信息是想要的信息。如此，將使得網絡輸出的運動狀態的精確性不高，且可能會輸出冗余信息，造成計算機資源的浪費。

發明內容

本發明實施例提供一種運動感知模型的訓練方法、裝置、電子設備及存儲介質，可以監督中間的特征層的采樣所得到感知信息，可以提高模型輸出的運動狀態的精確性。

本發明實施例提供了一種運動感知模型的訓練方法，該方法包括獲取訓練圖像組集合和每一訓練圖像組對應的標簽光流信息；

構建預設機器學習模型，將預設機器學習模型確定為當前機器學習模型；

基于當前機器學習模型，對每一訓練圖像組進行特征提取處理，確定多個目標特征圖集；

從每一目標特征圖集中，確定每一訓練圖像組對應的預測光流信息；

根據標簽光流信息和預測光流信息，確定每一目標特征圖集對應的損失信息；

基于每一目標特征圖集對應的損失信息對當前機器學習模型的參數進行調整，得到更新后的機器學習模型，將更新后的機器學習模型重新確定為當前機器學習模型；重復步驟：對每一訓練圖像組進行特征提取處理，多個目標特征圖集；

當對當前機器學習模型的參數進行調整的次數大于預設閾值時，將當前機器學習模型確定為運動感知模型，將損失信息對應的模型參數確定為運動感知模型的參數。

進一步地，對每一訓練圖像組進行特征提取處理，確定多個目標特征圖集，包括：

基于當前機器學習模型，對每一訓練圖像組進行特征提取處理，得到待處理特征圖集；

對待處理特征圖集進行特征提取處理，得到第一特征圖集；

根據待處理特征圖集和第一特征圖集，確定第二特征圖集；

基于第二特征圖集，確定多個目標特征圖集。

進一步地，對待處理特征圖集進行特征提取處理，得到第一特征圖集之前，還包括：

對相機參數信息進行全連接處理，得到相機參數信息對應的權重信息集合和偏置信息集合；

根據權重信息集合和偏置信息集合，確定卷積信息集合；卷積信息集合包括第一卷積信息和第二卷積信息中的至少一個。

進一步地，基于第二特征圖集，確定多個目標特征圖集，包括：

對第二特征圖集進行特征提取處理，得到第三特征圖集；