[發明專利]視頻中小目標的預測方法、裝置、設備、存儲介質和產品

在審

• 申請號: 202210508386.1
• 申請日: 2022-05-11
• 公開（公告）號: CN114863339A
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 王曄;吳磊;楊凱;胡鶯夕
• 申請（專利權）人: 中國建設銀行股份有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/44;G06V10/764;G06V10/80;G06V10/82;G06N3/04;G06T5/00;G06T5/50;G06Q10/04;G06Q40/02
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 賈磊;李輝

本文涉及金融科技領域，本文提供了一種視頻中小目標的預測方法、裝置、設備、存儲介質和產品，其中方法包括：通過神經網絡模型中的backbone網絡和neck網絡對當前幀的圖片進行多個不同尺度的特征提取，得到多尺度的特征圖；根據當前幀所對應的前一幀的圖片，得到小目標對應的增強信息，其中前一幀為所述當前幀的前一時刻所對應的幀；通過增強信息對所述小尺度特征圖進行小尺度信息增強處理，得到增強后的小尺度特征圖；將增強后的小尺度特征圖輸入神經網絡模型中的head網絡，預測小目標對應的位置信息、置信度和分類概率，進而得到在位置信息所示的位置處的存在小目標的概率，以及小目標所屬的類別。本文能夠降低小目標漏檢、誤檢的情況發生。

技術領域

本發明涉及金融科技領域，特別地，涉及一種視頻中小目標的預測方法、裝置、設備、存儲介質和產品。

背景技術

現有技術中的目標預測方法，僅針對單幀圖像數據進行預測，對于一個視頻來說，現有技術大多采集視頻中當前幀的圖片，通過對當前幀的圖片進行預測的方式，得到視頻中的目標。

然而，對于運動類目標比如人體來說，在當前幀的圖片中由于人體距離攝像頭遠、攝像頭的分辨率低，導致當前幀的圖片中的人體是一個小目標，對當前幀的圖片進行預測時極易導致小目標信息缺失，因此現有技術的目標預測方法容易造成小目標漏檢和誤檢的情況發生。

因此現在亟需一種視頻中小目標的預測方法，能夠解決當前幀小目標信息不足的問題，從而降低小目標漏檢、誤檢的情況發生。

發明內容

本文實施例的目的在于提供一種視頻中小目標的預測方法、裝置、設備、存儲介質和產品，以降低小目標漏檢、誤檢的情況發生。

為達到上述目的，一方面，本文實施例提供了一種視頻中小目標的預測方法，包括：

通過神經網絡模型中的backbone網絡和neck網絡對當前幀的圖片進行多個不同尺度的特征提取，得到多尺度的特征圖，其中所述多尺度的特征圖中包括小目標對應的小尺度特征圖；

根據所述當前幀所對應的前一幀的圖片，得到所述小目標對應的增強信息，其中所述前一幀為所述當前幀的前一時刻所對應的幀；

通過所述增強信息對所述小尺度特征圖進行小尺度信息增強處理，得到增強后的小尺度特征圖；

將所述增強后的小尺度特征圖輸入神經網絡模型中的head網絡，預測所述小目標對應的位置信息、置信度和分類概率，進而得到在所述位置信息所示的位置處的存在小目標的概率，以及所述小目標所屬的類別。

優選的，所述根據所述當前幀所對應的前一幀的圖片，得到所述小目標對應的增強信息進一步包括：

根據所述當前幀所對應的前一幀的圖片，得到多尺度的前增強掩碼特征圖；

對所述多尺度的前增強掩碼特征圖進行時空融合處理，得到所述小目標對應的增強信息。

優選的，所述根據所述當前幀所對應的前一幀的圖片，得到多尺度的前增強掩碼特征圖進一步包括：

根據當前幀所對應的前一幀的圖片，得到多尺度的前特征圖，其中所述多尺度的前特征圖中包括前一幀中小目標對應的小尺度前特征圖；

對所述小尺度前特征圖進行小尺度信息增強處理，得到處理后的多尺度的前特征圖；

對所述處理后的多尺度的前特征圖進行掩碼增強操作，得到多尺度的前增強掩碼特征圖。

優選的，所述根據當前幀所對應的前一幀的圖片，得到多尺度的前特征圖進一步包括：

通過神經網絡模型中的backbone網絡和neck網絡對所述當前幀所對應的前一幀的圖片進行多尺度特征提取，得到多尺度的前特征圖。