[發明專利]圖像處理方法、圖像處理裝置和計算機可讀存儲介質

有效

• 申請號: 201811318683.X
• 申請日: 2018-11-07
• 公開（公告）號: CN109492755B
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 姚皓天;吳家楠
• 申請（專利權）人: 北京曠視科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 張曉明

1.一種使用卷積神經網絡系統的圖像處理方法，所述卷積神經網絡系統包含輸入層、中間層和輸出層，所述圖像處理方法包括：

經由所述輸入層接收多幀輸入圖像；

經由所述中間層提取所述多幀輸入圖像的圖像特征，并根據所述多幀輸入圖像的圖像特征計算所述多幀輸入圖像之間的偏移信息；以及

經由所述輸出層輸出對于所述多幀輸入圖像的處理結果，所述處理結果是根據所述多幀輸入圖像之間的偏移信息得到的，并且所述處理結果為在所述多幀輸入圖像中檢測到的對象以及其在所述多幀輸入圖像中的位置，

其中，所述中間層包括多個級聯的卷積特征提取層，所述多個級聯的卷積特征提取層的每一個輸出具有與其卷積步長對應尺度的卷積特征圖；

所述偏移信息用于表征所述對象在所述多幀輸入圖像中的位置之間的位置偏移；

所述多幀輸入圖像包括第t幀輸入圖像和第t+τ幀輸入圖像，其中，t和τ均為自然數，

經由所述中間層提取所述多幀輸入圖像的圖像特征，并根據所述多幀輸入圖像的圖像特征計算所述多幀輸入圖像之間的偏移信息，包括：

經由所述中間層提取所述第t幀輸入圖像的多個卷積特征圖，所述第t幀輸入圖像的多個卷積特征圖具有不同的尺度；

經由所述中間層提取所述第t+τ幀輸入圖像的多個卷積特征圖，所述第t+τ幀輸入圖像的多個卷積特征圖具有不同的尺度；

對于具有同一尺度的所述第t幀輸入圖像的卷積特征圖和所述第t+τ幀輸入圖像的卷積特征圖執行相關計算，以獲取所述第t幀輸入圖像和所述第t+τ幀輸入圖像之間的相關特征圖，其中，所述偏移信息包括所述第t幀輸入圖像和所述第t+τ幀輸入圖像之間的相關特征圖。

2.如權利要求1所述的圖像處理方法，其中，

經由所述中間層提取所述多幀輸入圖像的圖像特征包括：

經由所述多個級聯的卷積特征提取層中的第一卷積特征提取層，生成所述第t幀輸入圖像的第一卷積特征圖和所述第t+τ幀輸入圖像的第一卷積特征圖；

基于所述第t幀輸入圖像的第一卷積特征圖和所述第t+τ幀輸入圖像的第一卷積特征圖，獲得所述第t幀輸入圖像和所述第t+τ幀輸入圖像之間的第一相關特征圖，并且根據所述第一相關特征圖，得到所述第t幀輸入圖像和所述第t+τ幀輸入圖像之間的偏移量矩陣；

經由所述多個級聯的卷積特征提取層中的第二卷積特征提取層，生成第t幀輸入圖像的第二卷積特征圖和第t+τ幀輸入圖像的第二卷積特征圖，所述第一卷積特征圖的第一尺度小于所述第二卷積特征圖的第二尺度；

根據所述偏移量矩陣對所述第t幀輸入圖像的第二卷積特征圖執行插值計算，獲得所述第t幀輸入圖像的偏移后的第二卷積特征圖；

基于所述第t幀輸入圖像的偏移后的第二卷積特征圖和所述第t+τ幀輸入圖像的第二卷積特征圖，獲得所述第t幀輸入圖像和所述第t+τ幀輸入圖像之間的第二相關特征圖，所述偏移信息包括所述第一相關特征圖和所述第二相關特征圖；

經由所述輸出層輸出對于所述多幀輸入圖像的處理結果包括：

基于所述第一相關特征圖和/或所述第二相關特征圖，輸出所述處理結果。

3.如權利要求2所述的圖像處理方法，其中，所述基于所述第一相關特征圖和/或所述第二相關特征圖，輸出所述處理結果包括：

基于所述第一相關特征圖和/或所述第二相關特征圖，執行對象的分類檢測和邊框回歸。

4.如權利要求2所述的圖像處理方法，還包括對所述第一相關特征圖執行上采樣，獲得具有所述第二尺度的所述第一相關特征圖。

5.如權利要求2到4的任一項所述的圖像處理方法，其中，在所述多個級聯的卷積特征提取層中，所述第一卷積特征提取層生成最小尺度的卷積特征圖。