[發明專利]圖像處理方法及裝置、電子設備和存儲介質

在審

• 申請號: 202110801139.6
• 申請日: 2021-07-15
• 公開（公告）號: CN113506324A
• 公開（公告）日: 2021-10-15
• 發明（設計）人: 施路平;楊哲宇;趙蓉
• 申請（專利權）人: 清華大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/73;G06N3/04;G06N3/08
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

1.一種圖像處理方法，其特征在于，包括：

將第一時間段內的第一時刻獲取的預設場景的動態視覺信息，輸入第一特征提取網絡，獲得第一特征圖；

將所述第一時間段內的第二時刻獲取的所述預設場景的第一色彩圖像，輸入第二特征提取網絡，獲得第二特征圖，其中，動態視覺信息的獲取頻率高于色彩圖像的獲取頻率，所述第一特征提取網絡是通過所述第二特征提取網絡訓練的；

根據所述第二特征圖和所述第一特征圖，確定所述第二時刻與所述第一時刻之間的特征變化量；

根據所述第一特征圖和所述特征變化量，確定所述預設場景中的目標對象在所述第一時刻的位置信息。

2.根據權利要求1所述的方法，其特征在于，根據所述第一特征圖和所述特征變化量，確定所述預設場景中的目標對象在所述第一時刻的位置信息，包括：

根據所述第二特征圖和所述特征變化量，對所述第二特征圖進行特征更新處理，獲得第三特征圖；

對所述第一色彩圖像進行目標特征提取處理，獲得所述目標對象的特征向量；

根據所述目標對象的特征向量，對所述第三特征圖進行卷積處理，得到所述特征向量與所述第三特征圖之間的相關熱力圖；

根據所述相關熱力圖，確定所述目標對象在所述第一時刻的位置信息。

3.根據權利要求2所述的方法，其特征在于，所述方法還包括：

對所述第三特征圖進行解碼處理，獲得第一時刻的第二色彩圖像。

4.根據權利要求3所述的方法，其特征在于，所述方法還包括：

根據所述位置信息，對所述第二色彩圖像中的目標對象進行分割處理，獲得所述目標對象的分割掩碼圖。

5.根據權利要求1所述的方法，其特征在于，所述方法還包括：

通過預訓練的第二特征提取網絡對樣本場景的樣本色彩圖像進行特征提取處理，獲得第一樣本特征圖；

通過第一特征提取網絡對所述樣本場景的樣本動態視覺信息進行特征提取處理，獲得第二樣本特征圖，其中，所述樣本動態視覺信息與所述樣本色彩圖像同時獲取；

根據所述第一樣本特征圖和所述第二樣本特征圖，確定第一特征提取網絡的網絡損失；

根據所述網絡損失，訓練所述第一特征提取網絡。

6.根據權利要求1所述的方法，其特征在于，所述第一特征提取網絡包括脈沖神經網絡，所述第二特征提取網絡包括卷積神經網絡。

7.一種圖像處理裝置，其特征在于，包括：

第一特征提取模塊，用于將第一時間段內的第一時刻獲取的預設場景的動態視覺信息，輸入第一特征提取網絡，獲得第一特征圖；

第二特征提取模塊，用于將所述第一時間段內的第二時刻獲取的所述預設場景的第一色彩圖像，輸入第二特征提取網絡，獲得第二特征圖，其中，動態視覺信息的獲取頻率高于色彩圖像的獲取頻率，所述第一特征提取網絡是通過所述第二特征提取網絡訓練的；

特征變化量確定模塊，用于根據所述第二特征圖和所述第一特征圖，確定所述第二時刻與所述第一時刻之間的特征變化量；

位置信息確定模塊，用于根據所述第一特征圖和所述特征變化量，確定所述預設場景中的目標對象在所述第一時刻的位置信息。

8.根據權利要求7所述的裝置，其特征在于，所述位置信息確定模塊進一步用于：

根據所述第二特征圖和所述特征變化量，對所述第二特征圖進行特征更新處理，獲得第三特征圖；

對所述第一色彩圖像進行目標特征提取處理，獲得所述目標對象的特征向量；

根據所述目標對象的特征向量，對所述第三特征圖進行卷積處理，得到所述特征向量與所述第三特征圖之間的相關熱力圖；

根據所述相關熱力圖，確定所述目標對象在所述第一時刻的位置信息。

9.一種電子設備，其特征在于，包括：

處理器；

用于存儲處理器可執行指令的存儲器；

其中，所述處理器被配置為調用所述存儲器存儲的指令，以執行權利要求1至6中任意一項所述的方法。

10.一種計算機可讀存儲介質，其上存儲有計算機程序指令，其特征在于，所述計算機程序指令被處理器執行時實現權利要求1至6中任意一項所述的方法。