[發明專利]實時視頻處理方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110231205.0
• 申請日: 2021-03-02
• 公開（公告）號: CN113191184A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 陳海波;權甲;潘志銳;趙昕;李珂
• 申請（專利權）人: 深蘭科技（上海）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06F3/01
• 代理公司: 蘇州領躍知識產權代理有限公司 32370
• 代理人: 王寧

1.一種實時視頻處理方法，其特征在于，所述方法包括：

獲取實時視頻信息和預設背景，所述實時視頻信息是攝像頭拍攝人物得到的；

針對所述實時視頻信息的每一幀實時圖像，從所述實時圖像中獲取人物輪廓區域，以及根據所述實時圖像獲取手勢信息；

從所述實時圖像中獲取所述人物輪廓區域對應的部分圖像，記為人物部分；

將所述人物部分顯示在所述預設背景中；

基于所述手勢信息生成控制指令或者不執行任何操作，所述控制指令用于控制以下至少一種操作：所述預設背景的播放操作；所述人物部分在所述預設背景中的移動操作；所述人物部分在所述預設背景中的縮放操作。

2.根據權利要求1所述的實時視頻處理方法，其特征在于，所述根據所述實時圖像獲取手勢信息，包括：

將所述實時圖像輸入目標檢測模型，得到所述手勢信息；或者，

將所述人物部分輸入所述目標檢測模型，得到所述手勢信息。

3.根據權利要求1所述的實時視頻處理方法，其特征在于，所述手勢信息包括左手手勢信息和右手手勢信息，所述控制指令包括第一類控制指令和第二類控制指令，所述第一類控制指令用于控制所述預設背景的播放操作，所述第二類控制指令用于控制所述人物部分在所述預設背景中的移動操作和縮放操作；

所述基于所述手勢信息生成控制指令，包括：

基于所述左手手勢信息生成所述第一類控制指令，基于所述右手手勢信息生成所述第二類控制指令；或者，

基于所述右手手勢信息生成所述第一類控制指令，基于所述左手手勢信息生成所述第二類控制指令。

4.根據權利要求1所述的實時視頻處理方法，其特征在于，所述基于所述手勢信息生成控制指令，包括：

接收用戶的自定義操作；

基于所述自定義操作，確定所述手勢信息與所述控制指令之間的對應關系，且使每種手勢信息對應至多一種控制指令。

5.根據權利要求1所述的實時視頻處理方法，其特征在于，所述方法還包括：

對所述實時圖像進行風格化處理，得到風格化圖像；

所述從所述實時圖像中獲取所述人物輪廓區域對應的部分圖像，記為人物部分，包括：

從所述風格化圖像中獲取所述人物輪廓區域對應的部分圖像，作為所述人物部分。

6.根據權利要求5所述的實時視頻處理方法，其特征在于，針對所述實時視頻信息的每一幀實時圖像，同時執行以下處理：

從所述實時圖像中獲取所述人物輪廓區域；

根據所述實時圖像獲取所述手勢信息；

對所述實時圖像進行風格化處理，得到所述風格化圖像。

7.根據權利要求1所述的實時視頻處理方法，其特征在于，每種手勢信息用于指示以下任意一種手勢類型：非控制手勢、握拳、比耶、比OK、伸食指、食指向上、食指向下、食指向左、食指向右、大拇指與食指張開以及大拇指與食指合并；

所述預設背景包括以下至少一種：視頻素材、圖片素材、文檔素材和所述實時圖像自身。

8.一種實時視頻處理裝置，其特征在于，所述實時視頻處理裝置包括：

數據獲取模塊，用于獲取實時視頻信息和預設背景，所述實時視頻信息是攝像頭拍攝人物得到的；

圖像處理模塊，用于針對所述實時視頻信息的每一幀實時圖像，從所述實時圖像中獲取人物輪廓區域，以及根據所述實時圖像獲取手勢信息；

人物獲取模塊，用于從所述實時圖像中獲取所述人物輪廓區域對應的部分圖像，記為人物部分；

顯示控制模塊，用于將所述人物部分顯示在所述預設背景中；

交互控制模塊，用于基于所述手勢信息生成控制指令或者不執行任何操作，所述控制指令用于控制以下至少一種操作：所述預設背景的播放操作；所述人物部分在所述預設背景中的移動操作；所述人物部分在所述預設背景中的縮放操作。