[發明專利]視頻中小目標的預測方法、裝置、設備、存儲介質和產品

在審

• 申請號: 202210508386.1
• 申請日: 2022-05-11
• 公開（公告）號: CN114863339A
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 王曄;吳磊;楊凱;胡鶯夕
• 申請（專利權）人: 中國建設銀行股份有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/44;G06V10/764;G06V10/80;G06V10/82;G06N3/04;G06T5/00;G06T5/50;G06Q10/04;G06Q40/02
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 賈磊;李輝

1.一種視頻中小目標的預測方法，其特征在于，包括：

通過神經網絡模型中的backbone網絡和neck網絡對當前幀的圖片進行多個不同尺度的特征提取，得到多尺度的特征圖，其中所述多尺度的特征圖中包括小目標對應的小尺度特征圖；

根據所述當前幀所對應的前一幀的圖片，得到所述小目標對應的增強信息，其中所述前一幀為所述當前幀的前一時刻所對應的幀；

通過所述增強信息對所述小尺度特征圖進行小尺度信息增強處理，得到增強后的小尺度特征圖；

將所述增強后的小尺度特征圖輸入神經網絡模型中的head網絡，預測所述小目標對應的位置信息、置信度和分類概率，進而得到在所述位置信息所示的位置處的存在小目標的概率，以及所述小目標所屬的類別。

2.根據權利要求1所述的視頻中小目標的預測方法，其特征在于，所述根據所述當前幀所對應的前一幀的圖片，得到所述小目標對應的增強信息進一步包括：

根據所述當前幀所對應的前一幀的圖片，得到多尺度的前增強掩碼特征圖；

對所述多尺度的前增強掩碼特征圖進行時空融合處理，得到所述小目標對應的增強信息。

3.根據權利要求2所述的視頻中小目標的預測方法，其特征在于，所述根據所述當前幀所對應的前一幀的圖片，得到多尺度的前增強掩碼特征圖進一步包括：

根據當前幀所對應的前一幀的圖片，得到多尺度的前特征圖，其中所述多尺度的前特征圖中包括前一幀中小目標對應的小尺度前特征圖；

對所述小尺度前特征圖進行小尺度信息增強處理，得到處理后的多尺度的前特征圖；

對所述處理后的多尺度的前特征圖進行掩碼增強操作，得到多尺度的前增強掩碼特征圖。

4.根據權利要求3所述的視頻中小目標的預測方法，其特征在于，所述根據當前幀所對應的前一幀的圖片，得到多尺度的前特征圖進一步包括：

通過神經網絡模型中的backbone網絡和neck網絡對所述當前幀所對應的前一幀的圖片進行多尺度特征提取，得到多尺度的前特征圖。

5.根據權利要求3所述的視頻中小目標的預測方法，其特征在于，所述對所述小尺度前特征圖進行小尺度信息增強處理，得到處理后的多尺度的前特征圖進一步包括：

根據所述前一幀所對應的歷史幀的圖片，得到所述前一幀中小目標對應的前增強信息，其中所述歷史幀為所述前一幀的前一時刻所對應的幀；

通過所述前增強信息對所述小尺度前特征圖進行小尺度信息增強處理，得到處理后的多尺度的前特征圖。

6.根據權利要求3所述的視頻中小目標的預測方法，其特征在于，所述對所述處理后的多尺度的前特征圖進行增強掩碼增強操作，得到多尺度的前增強掩碼特征圖進一步包括：

對所述處理后的多尺度的前特征圖分別進行掩碼操作，得到多尺度的前掩碼特征圖；

對所述多尺度的前掩碼特征圖分別進行信息增強，得到多尺度的前增強掩碼特征圖。

7.根據權利要求6所述的視頻中小目標的預測方法，其特征在于，所述對所述處理后的多尺度的前特征圖分別進行掩碼操作，得到多尺度的前掩碼特征圖進一步包括：

將所述處理后的多尺度的前特征圖分別輸入神經網絡模型中的head網絡，預測所述多尺度的目標分別對應的前位置信息、前置信度和前分類概率；

根據所述多尺度的目標分別對應的前位置信息，確定所述多尺度的目標分別對應的前目標框；

將所述多尺度的目標分別對應的前目標框中的背景像素均置為0，得到多尺度的前掩碼特征圖。