[發明專利]視頻處理方法及裝置、電子設備和存儲介質

在審

• 申請號: 202111483515.8
• 申請日: 2021-12-07
• 公開（公告）號: CN114202562A
• 公開（公告）日: 2022-03-18
• 發明（設計）人: 許通達;高宸健;王巖;袁濤;秦紅偉
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/13;G06V20/40;G06V10/40;G06V10/44;G06V10/62;G06V10/82
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

1.一種視頻處理方法，其特征在于，包括：

獲取待處理視頻流中的第一視頻幀，以及所述第一視頻幀和第二視頻幀之間的第一運動向量，其中，所述第二視頻幀為第一視頻幀之后的任意視頻幀；

對所述第一視頻幀中的目標對象進行檢測處理，獲取所述目標對象在第一視頻幀中的輪廓關鍵點的第一位置信息，以及所述第一視頻幀的第一掩膜圖像，其中，所述第一掩膜圖像為表示所述第一視頻幀中目標對象的位置和輪廓的圖像，所述輪廓關鍵點位于所述輪廓上；

根據所述第一運動向量、所述第一位置信息和所述第一掩膜圖像，獲得第二運動向量，其中，所述第二運動向量為修正后的運動向量；

根據所述第二運動向量和所述第一位置信息，獲得所述目標對象在第二視頻幀中的輪廓關鍵點的第二位置信息。

2.根據權利要求1所述的方法，其特征在于，根據所述第一運動向量、所述第一位置信息和所述第一掩膜圖像，獲得第二運動向量，包括：

根據所述第一運動向量，獲得分量特征圖，所述分量特征圖由第一運動向量的分量確定；

將所述分量特征圖、所述第一位置信息和所述第一掩膜圖像輸入修正神經網絡，獲得運動向量修正量；

根據所述運動向量修正量和所述第一運動向量，獲得所述第二運動向量。

3.根據權利要求2所述的方法，其特征在于，根據所述第一運動向量，獲得分量特征圖，包括：

將所述第一運動向量進行分解，獲得第一維度分量和第二維度分量；

根據所述第一維度分量和所述第二維度分量，分別獲得分量特征圖。

4.根據權利要求2所述的方法，其特征在于，所述方法還包括：

對樣本視頻流的第一樣本視頻幀進行檢測處理，獲取目標對象的輪廓關鍵點的第一樣本位置信息；

獲取所述第一樣本視頻幀的第一樣本掩膜圖像、所述第一樣本視頻幀和第二樣本視頻幀之間的樣本運動向量，其中，所述第一樣本掩膜圖像為表示第一樣本視頻幀中目標對象的位置和輪廓的圖像，所述輪廓關鍵點位于所述輪廓上，所述第二樣本視頻幀為所述第一樣本視頻幀之后的任意視頻幀；

根據所述樣本運動向量、所述第一樣本掩膜圖像、所述第一樣本位置信息和所述修正神經網絡，獲得修正運動向量；

根據所述第一樣本視頻幀和所述第二樣本視頻幀，獲得參考運動向量；

根據所述修正運動向量和所述參考運動向量，獲得所述修正神經網絡的網絡損失；

根據所述網絡損失，訓練所述修正神經網絡。

5.根據權利要求4所述的方法，其特征在于，根據所述樣本運動向量、所述第一樣本掩膜圖像、所述第一樣本位置信息和所述修正神經網絡，獲得修正運動向量，包括：

根據所述樣本運動向量和預設的噪聲信號，獲得樣本分量特征圖；

根據將所述樣本分量特征圖、所述第一樣本掩膜圖像和所述第一樣本位置信息輸入所述修正神經網絡，獲得樣本修正量；

根據所述樣本修正量和所述樣本運動向量，獲得修正運動向量。

6.根據權利要求1至5任一項所述的方法，其特征在于，所述方法還包括：

根據所述目標對象在第二視頻幀中的輪廓關鍵點的第二位置信息，獲得所述第二視頻幀的第二掩膜圖像，所述第二掩膜圖像為表示所述第二視頻幀中目標對象的位置和輪廓的圖像。

7.根據權利要求6所述的方法，其特征在于，根據所述目標對象在第二視頻幀中的輪廓關鍵點的第二位置信息，獲得所述第二視頻幀的第二掩膜圖像，包括：

根據所述第一視頻幀中的輪廓關鍵點之間的相對關系，對所述第二視頻幀中的輪廓關鍵點進行連接，獲得所述目標對象在所述第二視頻幀中的輪廓；

根據所述目標對象在所述第二視頻幀中的輪廓，獲得所述第二掩膜圖像。