[發明專利]視頻邊框識別方法、裝置、可讀介質及電子設備

在審

• 申請號: 202210249223.6
• 申請日: 2022-03-14
• 公開（公告）號: CN114596529A
• 公開（公告）日: 2022-06-07
• 發明（設計）人: 張帆;周文;盧靚妮
• 申請（專利權）人: 北京有竹居網絡技術有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/22;G06V10/46;G06V10/764;G06V10/80;G06K9/62
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 賀曉蕾

本公開涉及一種視頻邊框識別方法、裝置、可讀介質及電子設備，該視頻邊框識別方法通過將該目標視頻劃分為多個子視頻；從每個該子視頻中抽取預設數量幀待識別圖像，以得到多幀待識別圖像；然后通過預設邊框識別模型獲取該多幀待識別圖像對應的多尺度的特征圖集合，根據該特征圖集合中的空間分辨率最小的特征圖確定該目標視頻是否存在邊框；并在確定該目標視頻存在邊框的情況下，通過對該特征圖集合中不同尺度的特征圖進行融合，以得到待定特征圖，根據該待定特征圖預測該目標位置；能夠同時考慮視頻的時序信息以及空間信息，也能夠對視頻的深層語義特征和淺層空間特征進行有效融合，從而能夠有效提升邊框位置識別結果的準確性。

技術領域

本公開涉及計算機技術領域，具體地，涉及一種視頻邊框識別方法、裝置、可讀介質及電子設備。

背景技術

現實場景中，經常需要對帶邊框的視頻進行邊框識別操作，例如，視頻發布平臺中，經常遇到用戶上傳的視頻帶有邊框的情況，若要使該視頻既能在適用于豎版視頻的設備上發布，也能在適用于橫版視頻的設備上發布，通常需要先對該帶有邊框的視頻中的視頻邊框進行有效識別，確定該帶有邊框的視頻的主體區域(即去除邊框后的視頻圖像區域)，然后根據該主體區域進行尺寸調整，以滿足適用于豎版視頻的設備的播放需求，或者滿足適用于橫版視頻的設備的播放需求。然而，目前的視頻邊框識別方法通常存在邊框位置識別結果準確性較差，不利于視頻主體位置確定的問題。

發明內容

提供該發明內容部分以便以簡要的形式介紹構思，這些構思將在后面的具體實施方式部分被詳細描述。該發明內容部分并不旨在標識要求保護的技術方案的關鍵特征或必要特征，也不旨在用于限制所要求的保護的技術方案的范圍。

本公開提供一種視頻邊框識別方法、裝置、可讀介質及電子設備。

第一方面，本公開提供一種視頻邊框識別方法，所述方法包括：

獲取待識別的目標視頻，并將所述目標視頻劃分為多個子視頻；

從每個所述子視頻中抽取預設數量幀待識別圖像，以得到多幀待識別圖像；

將所述多幀待識別圖像輸入預設邊框識別模型，以使所述預設邊框識別模型輸出邊框識別結果，所述邊框識別結果用于表征所述目標視頻是否存在邊框，以及在所述目標視頻存在邊框的情況下，所述邊框的目標位置；

其中，所述預設邊框識別模型用于，獲取所述多幀待識別圖像對應的多尺度的特征圖集合，根據所述特征圖集合中的空間分辨率最小的特征圖確定所述目標視頻是否存在邊框；并在確定所述目標視頻存在邊框的情況下，通過對所述特征圖集合中不同尺度的特征圖進行融合，以得到待定特征圖，根據所述待定特征圖預測所述目標位置。

第二方面，本公開提供一種視頻邊框識別裝置，所述裝置包括：

第一獲取模塊，被配置為獲取待識別的目標視頻，并將所述目標視頻劃分為多個子視頻；

第二獲取模塊，被配置為從每個所述子視頻中抽取預設數量幀待識別圖像，以得到多幀待識別圖像；

確定模塊，被配置為將所述多幀待識別圖像輸入預設邊框識別模型，以使所述預設邊框識別模型輸出邊框識別結果，所述邊框識別結果用于表征所述目標視頻是否存在邊框，以及在所述目標視頻存在邊框的情況下，所述邊框的目標位置；

其中，所述預設邊框識別模型用于，獲取所述多幀待識別圖像對應的多尺度的特征圖集合，根據所述特征圖集合中的空間分辨率最小的特征圖確定所述目標視頻是否存在邊框；并在確定所述目標視頻存在邊框的情況下，通過對所述特征圖集合中不同尺度的特征圖進行融合，以得到待定特征圖，根據所述待定特征圖預測所述目標位置。

第三方面，本公開提供一種計算機可讀介質，其上存儲有計算機程序，該程序被處理裝置執行時實現以上第一方面所述方法的步驟。

第四方面，本公開提供一種電子設備，包括：