[發明專利]視頻處理方法及裝置、電子設備和存儲介質

在審

• 申請號: 202111483515.8
• 申請日: 2021-12-07
• 公開（公告）號: CN114202562A
• 公開（公告）日: 2022-03-18
• 發明（設計）人: 許通達;高宸健;王巖;袁濤;秦紅偉
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/13;G06V20/40;G06V10/40;G06V10/44;G06V10/62;G06V10/82
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

本公開涉及一種視頻處理方法及裝置、電子設備和存儲介質，所述方法包括：獲取第一視頻幀，以及第一視頻幀和第二視頻幀之間的第一運動向量；獲取目標對象在第一視頻幀中的輪廓關鍵點的第一位置信息，以及第一視頻幀的第一掩膜圖像；根據第一運動向量、第一位置信息和第一掩膜圖像，獲得第二運動向量；根據第二運動向量和第一位置信息，獲得目標對象在第二視頻幀中的輪廓關鍵點的第二位置信息。根據本公開的實施例的視頻處理方法，可通過對第一視頻幀本身進行目標對象的識別處理，可獲得目標對象的準確的輪廓，并可利用運動向量來進行后續視頻幀中的目標檢測，可利用視頻幀的時間冗余，提升目標檢測速度。

技術領域

本公開涉及計算機技術領域，尤其涉及一種視頻處理方法及裝置、電子設備和存儲介質。

背景技術

對視頻進行快速目標檢測在視頻處理與傳輸中有著重要應用。視頻編碼中可根據目標檢測結果分配碼率，解決存儲成本。視頻通信中可根據目標檢測結果選擇性傳輸，節約帶寬成本，降低延遲。

當前的快速視頻目標檢測方法有兩大分類，一類為單幀加速類，此方法需逐幀進行特征提取(feature extraction)，并未利用視頻幀的時間冗余(temporal redundancy)，仍有較大的加速空間。

另一類為特征域變換加速類，此方法基于壓縮視頻碼流(compressed bitstream)中的運動向量信息，檢測視頻幀的特征信息中的目標，由此利用視頻幀的時間冗余，達到加速檢測和/或分割任務的目的，但方法的變換屬于特征域變換(feature wrapping)，即，對經過卷積、下采樣等處理后的特征信息進行變換等處理來檢測目標，難以準確估計物體輪廓線(contour)。

發明內容

本公開提出了一種視頻處理方法及裝置、電子設備和存儲介質。

根據本公開的一方面，提供了一種視頻處理方法，包括：獲取待處理視頻流中的第一視頻幀，以及所述第一視頻幀和第二視頻幀之間的第一運動向量，其中，所述第二視頻幀為第一視頻幀之后的任意視頻幀；對所述第一視頻幀中的目標對象進行檢測處理，獲取所述目標對象在第一視頻幀中的輪廓關鍵點的第一位置信息，以及所述第一視頻幀的第一掩膜圖像，其中，所述第一掩膜圖像為表示所述第一視頻幀中目標對象的位置和輪廓的圖像，所述輪廓關鍵點位于所述輪廓上；根據所述第一運動向量、所述第一位置信息和所述第一掩膜圖像，獲得第二運動向量，其中，所述第二運動向量為修正后的運動向量；根據所述第二運動向量和所述第一位置信息，獲得所述目標對象在第二視頻幀中的輪廓關鍵點的第二位置信息。

根據本公開的實施例的視頻處理方法，可通過對第一視頻幀本身進行目標對象的識別處理，可獲得目標對象的準確的輪廓，并可利用運動向量來進行后續視頻幀中的目標檢測，可利用視頻幀的時間冗余，提升目標檢測速度，即，無需逐幀進行目標檢測，而是可利用視頻幀之間稀疏的運動向量信息來獲取其他視頻幀中目標對象的檢測結果，提升檢測效率。并且，通過修正后的運動向量來進行目標檢測，可減小運動向量的累計誤差，提升目標檢測的準確性和魯棒性。

在一種可能的實現方式中，根據所述第一運動向量、所述第一位置信息和所述第一掩膜圖像，獲得第二運動向量，包括：根據所述第一運動向量，獲得分量特征圖，所述分量特征圖由第一運動向量的分量確定；將所述分量特征圖、所述第一位置信息和所述第一掩膜圖像輸入修正神經網絡，獲得運動向量修正量；根據所述運動向量修正量和所述第一運動向量，獲得所述第二運動向量。

在一種可能的實現方式中，根據所述第一運動向量，獲得分量特征圖，包括：將所述第一運動向量進行分解，獲得第一維度分量和第二維度分量；根據所述第一維度分量和所述第二維度分量，分別獲得分量特征圖。

通過這種方式，可獲得修正后的第二運動向量，修正處理可減小累計誤差，修正輪廓關鍵點的位置，保持輪廓的形狀。通過第二運動向量對第一視頻幀中的輪廓關鍵點進行位置變換，可提升位置信息的準確性。