[發明專利]視頻處理方法、視頻處理裝置和存儲介質

在審

• 申請號: 202011177198.2
• 申請日: 2020-10-29
• 公開（公告）號: CN112308977A
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 陳志立;羅琳捷;楊建朝;王國暉
• 申請（專利權）人: 字節跳動有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06K9/00;H04N21/44
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 彭久云

1.一種視頻處理方法，所述視頻的畫面包括地標建筑和活動主體，所述方法包括：

識別并跟蹤所述視頻中的地標建筑；

提取并跟蹤所述視頻中的活動主體的關鍵點，并根據提取的所述活動主體的關鍵點的信息確定所述活動主體的姿態；

將所述活動主體的關鍵點與所述地標建筑對應，并根據所述活動主體的關鍵點的動作驅動所述地標建筑執行相應的動作，以使得所述視頻的畫面中所述地標建筑的姿態與所述活動主體的姿態對應。

2.根據權利要求1所述的視頻處理方法，其中，在根據所述活動主體的關鍵點的動作驅動所述地標建筑執行相應的動作之前，還包括：

在所述視頻的畫面中摳除所述地標建筑；

根據所述視頻的畫面中位于所述地標建筑周邊的像素通過平滑插值算法補全已扣除的所述地標建筑處的背景；

將所述地標建筑還原至補全所述背景后的位置處。

3.根據權利要求1所述的視頻處理方法，其中，將所述活動主體的關鍵點與所述地標建筑對應，并根據所述活動主體的關鍵點的動作驅動所述地標建筑執行相應的動作，包括：

將所述活動主體的關鍵點映射至所述地標建筑上，以將所述活動主體的關鍵點與所述地標建筑對應，使得所述地標建筑跟隨所述活動主體的關鍵點的動作而執行相應的動作。

4.根據權利要求3所述的視頻處理方法，其中，將所述活動主體的脊柱線映射至所述地標建筑的中軸線上。

5.根據權利要求1-4任一所述的視頻處理方法，還包括：

通過預定義動畫素材貼圖的方式使得所述地標建筑擬人化，以使得所述地標建筑具有所述活動主體的特征。

6.根據權利要求1-4任一所述的視頻處理方法，其中，通過神經網絡模型提取所述視頻畫面中的活動主體的關鍵點。

7.根據權利要求1-4任一所述的視頻處理方法，其中，識別所述視頻的畫面中的地標建筑，包括：

提取所述地標建筑的特征點；

將提取的所述地標建筑的特征點與建筑特征點分類模型作匹配，以識別所述地標建筑。

8.根據權利要求1-4任一所述的視頻處理方法，其中，跟蹤所述視頻中的地標建筑和跟蹤所述視頻中的活動主體的關鍵點，包括：

通過檢測所述視頻的各幀圖像中的所述地標建筑和所述活動主體的關鍵點，實現對所述地標建筑和所述活動主體的跟蹤。

9.根據權利要求1-4任一所述的視頻處理方法，其中，在同一個視頻中，將所述活動主體的關鍵點與多個地標建筑對應，并根據所述活動主體的關鍵點的動作驅動所述多個地標建筑根據所述活動主體的動作執行相應的動作。

10.根據權利要求1-4任一所述的視頻處理方法，其中，在同一個視頻中，將多個活動主體的關鍵點分別與多個地標建筑對應，并根據所述多個活動主體的關鍵點的多個動作分別驅動所述多個地標建筑根據相應的活動主體的動作分別執行對應的動作，以使得所述多個地標建筑的姿態與所述多個活動主體的姿態一一對應。

11.根據權利要求1-4任一所述的視頻處理方法，還包括：

通過圖像拍攝裝置實時錄制所述視頻，并對所述視頻中的各幀圖像進行實時處理，以使得所述地標建筑的姿態與所述活動主體的姿態對應。

12.根據權利要求1-4任一所述的視頻處理方法，其中，所述活動主體為人體。