[發明專利]一種特征聚合方法、電子設備及可讀存儲介質

在審

• 申請號: 202211149324.2
• 申請日: 2022-09-21
• 公開（公告）號: CN115512261A
• 公開（公告）日: 2022-12-23
• 發明（設計）人: 王治國;王新中;梁杰;殷光強;游長江;唐飛;石文武;李耶;侯少麒
• 申請（專利權）人: 深圳信息職業技術學院
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/80;G06V10/74;G06V10/25;G06V10/764;G06V10/766
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 萬凱君

本申請提供了一種特征聚合方法、電子設備及可讀存儲介質。所述方法包括：在視頻流中，獲取待增強幀的鄰近幀，待增強幀及鄰近幀包括至少一個候選區域；針對待增強幀中的待增強候選區域，在每個鄰近幀中篩選匹配度最大的相關候選區域；將待增強幀中全部候選區域與候選幀中全部候選區域進行關聯，得到全局相關系數；根據全局相關系數及相關候選區域的特征信息，計算待增強候選區域的聚合特征信息。本申請將局部特征及全局特征聚合到待增強候選區域，以增強待增強候選區域的特征信息，提高視頻幀的圖片效果，能夠有效減少因圖片效果差引起的檢測失效問題。

技術領域

本申請屬于圖像技術領域，尤其涉及一種特征聚合方法、電子設備及可讀存儲介質。

背景技術

目前，視頻目標檢測方法是若當前幀的待檢測物體面臨運動模糊、遮擋或失焦等問題，通過在視頻流中選取視頻幀，將選取的視頻幀特征聚合到當前幀中，從而輔助識別物體。例如，當不確定待檢測物體的身份時，從其他幀中尋找一個與待檢測物體具有高度語義相似性的獨特對象，輔助識別身份。當不確定待檢測物體的位置時，從其他幀中尋找待檢測物體的位置，輔助識別位置。

從除當前幀外其他幀中選取視頻幀計算量很大，為了降低計算量，視頻目標檢測方法均是從視頻流中隨機選取視頻幀來加強當前幀，這種隨機選取視頻幀可能導致當前幀加強效果差，從而降低識別效果。

發明內容

本申請實施例提供了一種特征聚合方法、目標檢測模型訓練、電子設備及可讀存儲介質，可以解決特征加強效果差的問題。

第一方面，本申請實施例提供了一種特征聚合方法，包括：

在視頻流中，獲取待增強幀的鄰近幀，所述待增強幀及所述鄰近幀包括至少一個候選區域；

針對所述待增強幀中的待增強候選區域，在每個鄰近幀中篩選匹配度最大的相關候選區域；

將所述待增強幀中全部候選區域與候選幀中全部候選區域進行關聯，得到全局相關系數；

根據所述全局相關系數及所述相關候選區域的特征信息，計算所述待增強候選區域的聚合特征信息；

其中，各幀的候選區域包括對象。

可選的，所述獲取待增強幀的鄰近幀，包括：

獲取τ個第一鄰近幀及τ個第二鄰近幀，所述第一鄰近幀的時序小于所述待增強幀的時序，所述第二鄰近幀的時序大于所述待增強幀的時序，所述第一鄰近幀及所述第二鄰近幀包括至少一個候選區域；

所述在每個鄰近幀中篩選匹配度最大的相關候選區域，包括：

針對所述待增強候選區域，在每個所述第一鄰近幀及每個所述第二鄰近幀中篩選匹配度最大的相關候選區域。

可選的，所述針對所述待增強候選區域，在每個所述第一鄰近幀及每個所述第二鄰近幀中篩選匹配度最大的相關候選區域，包括：

針對每個所述第一鄰近幀中每個第一候選區域，根據所述待增強候選區域及所述第一候選區域的特征信息，計算第一特征相似度；

根據所述待增強候選區域及所述第一候選區域的位置信息，計算第一位置相似度；

根據所述第一特征相似度及所述第一位置相似度，計算第一總相似度；

篩選第一總相似度最大的第一候選區域，得到所述匹配度最大的相關候選區域；

針對每個所述第二鄰近幀中每個第二候選區域，根據所述待增強候選區域及所述第二候選區域的特征信息，計算第二特征相似度；

根據所述待增強候選區域及所述第二候選區域的位置信息，計算第二位置相似度；

根據所述第二特征相似度及所述第二位置相似度，計算第二總相似度；