[發明專利]圖像處理方法及裝置、電子設備和存儲介質

在審

• 申請號: 202110801139.6
• 申請日: 2021-07-15
• 公開（公告）號: CN113506324A
• 公開（公告）日: 2021-10-15
• 發明（設計）人: 施路平;楊哲宇;趙蓉
• 申請（專利權）人: 清華大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/73;G06N3/04;G06N3/08
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

本公開涉及一種圖像處理方法及裝置、電子設備和存儲介質，所述方法包括：將第一時間段內的第一時刻獲取的預設場景的動態視覺信息，輸入第一特征提取網絡，獲得第一特征圖；將第一時間段內的第二時刻獲取的預設場景的第一色彩圖像，輸入第二特征提取網絡，獲得第二特征圖；根據第二特征圖和第一特征圖，確定第二時刻與第一時刻之間的特征變化量；根據第一特征圖和特征變化量，確定目標對象在第一時刻的位置信息。根據本公開的實施例的圖像處理方法，可利用獲取頻率較高的動態視覺信息獲得第二特征圖，并確定第二特征圖與第一色彩圖像的第一特征圖之間的特征變化量，來確定目標對象在第一時刻的位置信息，提升對目標對象的跟蹤效果。

技術領域

本公開涉及計算機技術領域，尤其涉及一種圖像處理方法及裝置、電子設備和存儲介質。

背景技術

在相關技術中，相機或攝像頭采集圖像或視頻幀的幀頻不高，在對高速運動的目標進行跟蹤時，目標在兩幀之間的時間段中的動作難以被跟蹤，進而導致遺漏目標的動作或軌跡，使得跟蹤效果不佳。

發明內容

本公開提出了一種圖像處理方法及裝置、電子設備和存儲介質。

根據本公開的一方面，提供了一種圖像處理方法，包括：將第一時間段內的第一時刻獲取的預設場景的動態視覺信息，輸入第一特征提取網絡，獲得第一特征圖；將所述第一時間段內的第二時刻獲取的所述預設場景的第一色彩圖像，輸入第二特征提取網絡，獲得第二特征圖，其中，動態視覺信息的獲取頻率高于色彩圖像的獲取頻率，所述第一特征提取網絡是通過所述第二特征提取網絡訓練的；根據所述第二特征圖和所述第一特征圖，確定所述第二時刻與所述第一時刻之間的特征變化量；根據所述第一特征圖和所述特征變化量，確定所述預設場景中的目標對象在所述第一時刻的位置信息。

在一種可能的實現方式中，根據所述第一特征圖和所述特征變化量，確定所述預設場景中的目標對象在所述第一時刻的位置信息，包括：根據所述第二特征圖和所述特征變化量，對所述第二特征圖進行特征更新處理，獲得第三特征圖；對所述第一色彩圖像進行目標特征提取處理，獲得所述目標對象的特征向量；根據所述目標對象的特征向量，對所述第三特征圖進行卷積處理，得到所述特征向量與所述第三特征圖之間的相關熱力圖；根據所述相關熱力圖，確定所述目標對象在所述第一時刻的位置信息。

在一種可能的實現方式中，所述方法還包括：對所述第三特征圖進行解碼處理，獲得第一時刻的第二色彩圖像。

在一種可能的實現方式中，所述方法還包括：根據所述位置信息，對所述第二色彩圖像中的目標對象進行分割處理，獲得所述目標對象的分割掩碼圖。

在一種可能的實現方式中，所述方法還包括：通過預訓練的第二特征提取網絡對樣本場景的樣本色彩圖像進行特征提取處理，獲得第一樣本特征圖；通過第一特征提取網絡對所述樣本場景的樣本動態視覺信息進行特征提取處理，獲得第二樣本特征圖，其中，所述樣本動態視覺信息與所述樣本色彩圖像同時獲取；根據所述第一樣本特征圖和所述第二樣本特征圖，確定第一特征提取網絡的網絡損失；根據所述網絡損失，訓練所述第一特征提取網絡。

根據本公開的一方面，提供了一種圖像處理裝置，所述裝置包括：第一特征提取模塊，用于將第一時間段內的第一時刻獲取的預設場景的動態視覺信息，輸入第一特征提取網絡，獲得第一特征圖；第二特征提取模塊，用于將所述第一時間段內的第二時刻獲取的所述預設場景的第一色彩圖像，輸入第二特征提取網絡，獲得第二特征圖，其中，動態視覺信息的獲取頻率高于色彩圖像的獲取頻率，所述第一特征提取網絡是通過所述第二特征提取網絡訓練的；特征變化量確定模塊，用于根據所述第二特征圖和所述第一特征圖，確定所述第二時刻與所述第一時刻之間的特征變化量；位置信息確定模塊，用于根據所述第一特征圖和所述特征變化量，確定所述預設場景中的目標對象在所述第一時刻的位置信息。