[發明專利]視頻關鍵點處理方法、裝置、計算設備及計算機存儲介質

有效

• 申請號: 201711249787.5
• 申請日: 2017-12-01
• 公開（公告）號: CN107967693B
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 劉洛麒;張望;肖勝濤;熊超
• 申請（專利權）人: 北京奇虎科技有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;H04N21/44
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 胡海國

1.一種視頻關鍵點處理方法，其包括：

獲取視頻數據；

獲取所述視頻數據中第t幀圖像，其中t大于1；

將所述第t幀圖像輸入至神經網絡中得到第t幀圖像的關鍵點的坐標信息；

根據關鍵點的移動速度，選取靜態模型或動態模型對第t幀圖像的關鍵點的坐標信息進行修正處理，其中，所述靜態模型依據第t-n+1幀圖像至第t-1幀圖像的關鍵點的坐標信息對第t幀圖像的關鍵點的坐標信息進行修正處理，n為預設值，所述動態模型依據關鍵點的移動速度對第t幀圖像的關鍵點的坐標信息進行修正處理；

利用修正處理后的第t幀圖像的關鍵點的坐標信息，對第t幀圖像進行處理，得到處理后的第t幀圖像；

將處理后的第t幀圖像覆蓋第t幀圖像得到處理后的視頻數據；

其中，所述選取靜態模型對第t幀圖像的關鍵點的坐標信息進行修正處理進一步包括：

獲取第t-n+1幀圖像至第t-1幀圖像的關鍵點的坐標信息，n為預設值；

針對第t-n+1幀圖像至第t幀圖像中的任一幀圖像，根據該幀圖像與第t幀圖像之間的幀距以及該幀圖像的關鍵點與第t幀圖像的關鍵點之間的距離確定該幀圖像的權重；

根據第t-n+1幀圖像至第t幀圖像的權重，將第t-n+1幀圖像至第t幀圖像的關鍵點的坐標信息進行加權平均，得到修正處理后的第t幀圖像的關鍵點的坐標信息，其中，所述靜態模型包括依據第t-n+1幀圖像至第t-1幀圖像的關鍵點的坐標信息對第t幀圖像的關鍵點的坐標信息進行修正處理，所述動態模型包括依據關鍵點的移動速度對第t幀圖像的關鍵點的坐標信息進行修正處理。

2.根據權利要求1所述的方法，其中，所述獲取視頻數據進一步包括：

獲取本地視頻數據和/或網絡視頻數據。

3.根據權利要求1或2所述的方法，其中，所述獲取視頻數據進一步包括：

獲取由多個本地圖片和/或多個網絡圖片合成的視頻數據。

4.根據權利要求3所述的方法，其中，所述根據關鍵點的移動速度，選取靜態模型或動態模型對第t幀圖像的關鍵點的坐標信息進行修正處理進一步包括：

判斷關鍵點的移動速度是否大于預設閾值，若是，則選取動態模型對第t幀圖像的關鍵點的坐標信息進行修正處理；否則，選取靜態模型對第t幀圖像的關鍵點的坐標信息進行修正處理。

5.根據權利要求4所述的方法，其中，所述選取動態模型對第t幀圖像的關鍵點的坐標信息進行修正處理進一步包括：

根據第t-1幀圖像的關鍵點相對于第t-2幀圖像的關鍵點的移動速度以及第t-1幀圖像的關鍵點的坐標信息，預測得到第t幀圖像的關鍵點的坐標信息；

計算利用神經網絡得到的第t幀圖像的關鍵點的坐標信息與預測得到的第t幀圖像的關鍵點的坐標信息之間的距離；

根據所述距離，對利用神經網絡得到的第t幀圖像的關鍵點的坐標信息與預測得到的第t幀圖像的關鍵點的坐標信息進行融合計算處理，得到修正處理后的第t幀圖像的關鍵點的坐標信息。

6.根據權利要求5所述的方法，其中，針對第t-n+1幀圖像至第t幀圖像中的任一幀圖像，該幀圖像的權重與該幀圖像與第t幀圖像之間的幀距以及該幀圖像的關鍵點與第t幀圖像的關鍵點之間的距離成反比關系。

7.根據權利要求5所述的方法，其中，根據所述 距離，對利用神經網絡得到的第t幀圖像的關鍵點的坐標信息與預測得到的第t幀圖像的關鍵點的坐標信息進行融合計算處理，得到修正處理后的第t幀圖像的關鍵點的坐標信息進一步包括：

依據所述距離確定融合計算處理時利用神經網絡得到的第t幀圖像的關鍵點的坐標信息對應的第一權重，以及確定預測得到的第t幀圖像的關鍵點的坐標信息對應的第二權重，其中，所述第一權重與第二權重之和等于1，所述第一權重與所述距離成正比關系，所述第二權重與所述距離成反比關系；

根據所述第一權重、第二權重對利用神經網絡得到的第t幀圖像的關鍵點的坐標信息與預測得到的第t幀圖像的關鍵點的坐標信息進行融合計算處理，得到修正處理后的第t幀圖像的關鍵點的坐標信息。