[發明專利]圖像處理方法及裝置、電子設備和存儲介質

在審

• 申請號: 202110801140.9
• 申請日: 2021-07-15
• 公開（公告）號: CN113506325A
• 公開（公告）日: 2021-10-15
• 發明（設計）人: 施路平;楊哲宇;趙蓉
• 申請（專利權）人: 清華大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/73;G06N3/04;G06N3/08
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

1.一種圖像處理方法，其特征在于，包括：

對第一時間段內獲取的預設場景的第一色彩圖像中的目標區域進行目標特征提取處理，獲得所述第一色彩圖像中目標對象的目標特征信息；

將所述第一時間段內的第一時刻獲取的所述預設場景的動態視覺信息輸入第一特征提取網絡，獲得與所述第一時刻的動態視覺信息對應的第一特征圖，其中，動態視覺信息的獲取頻率高于色彩圖像的獲取頻率，所述第一特征提取網絡是通過第二特征提取網絡訓練的，所述第二特征提取網絡用于提取色彩圖像的特征圖；

根據所述目標特征信息和所述第一特征圖，確定所述目標對象在所述第一時刻的位置信息，其中，所述目標對象為所述預設場景中的任意對象。

2.根據權利要求1所述的方法，其特征在于，根據所述目標特征信息和所述第一特征圖，確定所述目標對象在所述第一時刻的位置信息，包括：

根據所述目標特征信息確定卷積核參數；

根據所述卷積核參數對所述第一特征圖進行卷積處理，得到所述目標特征信息與所述第一特征圖之間的相關熱力圖；

根據所述相關熱力圖，確定所述目標對象在所述第一時刻的位置信息。

3.根據權利要求1所述的方法，其特征在于，所述方法還包括：

對所述第一特征圖進行解碼處理，獲得第一時刻的第二色彩圖像。

4.根據權利要求3所述的方法，其特征在于，所述方法還包括：

根據所述位置信息，對所述第二色彩圖像中的目標對象進行分割處理，獲得所述目標對象的分割掩碼圖。

5.根據權利要求1所述的方法，其特征在于，對預設場景的第一時間段內的第一色彩圖像中的目標區域進行目標特征提取處理，獲得所述第一色彩圖像中目標對象的目標特征信息，包括：

對所述第一色彩圖像進行目標檢測處理，獲得所述目標對象所在的目標區域；

對所述目標區域進行目標特征提取處理，獲得所述目標特征信息。

6.根據權利要求1所述的方法，其特征在于，所述方法還包括：

通過預訓練的第二特征提取網絡對樣本場景的樣本色彩圖像進行特征提取處理，獲得第一樣本特征圖；

通過第一特征提取網絡對所述樣本場景的樣本動態視覺信息進行特征提取處理，獲得第二樣本特征圖，其中，所述樣本動態視覺信息與所述樣本色彩圖像同時獲取；

根據所述第一樣本特征圖和所述第二樣本特征圖，確定第一特征提取網絡的網絡損失；

根據所述網絡損失，訓練所述第一特征提取網絡。

7.根據權利要求1所述的方法，其特征在于，所述第一特征提取網絡包括脈沖神經網絡，所述第二特征提取網絡包括卷積神經網絡。

8.一種圖像處理裝置，其特征在于，包括：

目標特征信息提取模塊，用于對第一時間段內獲取的預設場景的第一色彩圖像中的目標區域進行目標特征提取處理，獲得所述第一色彩圖像中目標對象的目標特征信息；

特征圖提取模塊，用于將所述第一時間段內的第一時刻獲取的所述預設場景的動態視覺信息輸入第一特征提取網絡，獲得與所述第一時刻的動態視覺信息對應的第一特征圖，其中，動態視覺信息的獲取頻率高于色彩圖像的獲取頻率，所述第一特征提取網絡是通過第二特征提取網絡訓練的，所述第二特征提取網絡用于提取色彩圖像的特征圖；

位置信息確定模塊，用于根據所述目標特征信息和所述第一特征圖，確定所述目標對象在所述第一時刻的位置信息，其中，所述目標對象為所述預設場景中的任意對象。

9.一種電子設備，其特征在于，包括：

處理器；

用于存儲處理器可執行指令的存儲器；

其中，所述處理器被配置為調用所述存儲器存儲的指令，以執行權利要求1至7中任意一項所述的方法。

10.一種計算機可讀存儲介質，其上存儲有計算機程序指令，其特征在于，所述計算機程序指令被處理器執行時實現權利要求1至7中任意一項所述的方法。