[發(fā)明專利]圖像處理方法及裝置、電子設備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110801140.9
• 申請日: 2021-07-15
• 公開（公告）號: CN113506325A
• 公開（公告）日: 2021-10-15
• 發(fā)明（設計）人: 施路平;楊哲宇;趙蓉
• 申請（專利權）人: 清華大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/73;G06N3/04;G06N3/08
• 代理公司: 北京林達劉知識產(chǎn)權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

本公開涉及一種圖像處理方法及裝置、電子設備和存儲介質(zhì)，所述方法包括：對第一色彩圖像進行目標特征提取處理，獲得目標對象的目標特征信息；將第一時刻獲取的動態(tài)視覺信息輸入第一特征提取網(wǎng)絡，獲得第一特征圖；根據(jù)目標特征信息和第一特征圖，確定目標對象在第一時刻的位置信息。根據(jù)本公開的實施例的圖像處理方法，可利用獲取頻率較高的動態(tài)視覺信息獲得第一特征圖，并基于第一特征圖來確定目標對象在獲取到動態(tài)視覺信息的第一時刻的位置信息。由于動態(tài)視覺信息的頻率高于色彩圖像的獲取頻率，可通過第一特征圖確定兩幀色彩圖像之間的時間段中的多個時刻的位置信息，有助于對運動物體的運動軌跡或動作進行跟蹤。

技術領域

本公開涉及計算機技術領域，尤其涉及一種圖像處理方法及裝置、電子設備和存儲介質(zhì)。

背景技術

在相關技術中，相機或攝像頭采集圖像或視頻幀的幀頻不高，在對高速運動的目標進行跟蹤時，目標在兩幀之間的時間段中的動作難以被跟蹤，進而導致遺漏目標的動作或軌跡，使得跟蹤效果不佳。

發(fā)明內(nèi)容

本公開提出了一種圖像處理方法及裝置、電子設備和存儲介質(zhì)。

根據(jù)本公開的一方面，提供了一種圖像處理方法，包括：對第一時間段內(nèi)獲取的預設場景的第一色彩圖像中的目標區(qū)域進行目標特征提取處理，獲得所述第一色彩圖像中目標對象的目標特征信息；將所述第一時間段內(nèi)的第一時刻獲取的所述預設場景的動態(tài)視覺信息輸入第一特征提取網(wǎng)絡，獲得與所述第一時刻的動態(tài)視覺信息對應的第一特征圖，其中，動態(tài)視覺信息的獲取頻率高于色彩圖像的獲取頻率，所述第一特征提取網(wǎng)絡是通過第二特征提取網(wǎng)絡訓練的，所述第二特征提取網(wǎng)絡用于提取色彩圖像的特征圖；根據(jù)所述目標特征信息和所述第一特征圖，確定所述目標對象在所述第一時刻的位置信息，其中，所述目標對象為所述預設場景中的任意對象。

在一種可能的實現(xiàn)方式中，根據(jù)所述目標特征信息和所述第一特征圖，確定所述目標對象在所述第一時刻的位置信息，包括：根據(jù)所述目標特征信息確定卷積核參數(shù)；根據(jù)所述卷積核參數(shù)對所述第一特征圖進行卷積處理，得到所述目標特征信息與所述第一特征圖之間的相關熱力圖；根據(jù)所述相關熱力圖，確定所述目標對象在所述第一時刻的位置信息。

在一種可能的實現(xiàn)方式中，所述方法還包括：對所述第一特征圖進行解碼處理，獲得第一時刻的第二色彩圖像。

在一種可能的實現(xiàn)方式中，所述方法還包括：根據(jù)所述位置信息，對所述第二色彩圖像中的目標對象進行分割處理，獲得所述目標對象的分割掩碼圖。

在一種可能的實現(xiàn)方式中，對預設場景的第一時間段內(nèi)的第一色彩圖像中的目標區(qū)域進行目標特征提取處理，獲得所述第一色彩圖像中目標對象的目標特征信息，包括：對所述第一色彩圖像進行目標檢測處理，獲得所述目標對象所在的目標區(qū)域；對所述目標區(qū)域進行目標特征提取處理，獲得所述目標特征信息。

在一種可能的實現(xiàn)方式中，所述方法還包括：通過預訓練的第二特征提取網(wǎng)絡對樣本場景的樣本色彩圖像進行特征提取處理，獲得第一樣本特征圖；通過第一特征提取網(wǎng)絡對所述樣本場景的樣本動態(tài)視覺信息進行特征提取處理，獲得第二樣本特征圖，其中，所述樣本動態(tài)視覺信息與所述樣本色彩圖像同時獲取；根據(jù)所述第一樣本特征圖和所述第二樣本特征圖，確定第一特征提取網(wǎng)絡的網(wǎng)絡損失；根據(jù)所述網(wǎng)絡損失，訓練所述第一特征提取網(wǎng)絡。

在一種可能的實現(xiàn)方式中，所述第一特征提取網(wǎng)絡包括脈沖神經(jīng)網(wǎng)絡，所述第二特征提取網(wǎng)絡包括卷積神經(jīng)網(wǎng)絡。