[發明專利]直播的特效處理方法、裝置以及服務器

有效

• 申請號: 202010594821.8
• 申請日: 2020-06-28
• 公開（公告）號: CN111935491B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 李冰源
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: H04N21/2187
• 分類號: H04N21/2187;H04N21/2343;H04N21/4402;G06V40/10;G06V20/40;G06V10/46
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 石茵汀

1.一種直播的特效處理方法，包括：

獲取直播客戶端在進行直播時采集的視頻流；

接收所述直播客戶端發送的所述視頻流中各幀圖像對應的人體關鍵點位置，其中，通過下述方式確定所述人體關鍵點位置：對所述視頻流中各幀圖像進行特征提取，將提取的所述各幀圖像對應的特征圖輸入經過訓練的人體關鍵點檢測模型，根據所述人體關鍵點檢測模型的輸出結果確定所述各幀圖像中的人體關鍵點位置；

根據各幀圖像中的所述人體關鍵點位置，對虛擬物體模板中的目標關鍵點進行位置調整，以得到各幀圖像對應的目標虛擬物體，其中，對每一幀圖像，根據所述人體關鍵點位置查詢關鍵點位置的映射關系，以得到目標位置，將所述虛擬物體模板中的目標關鍵點調整至所述目標位置，以得到所述目標虛擬物體；

獲取所述直播客戶端對各幀圖像識別得到的人體尺寸和人體中心位置，根據所述人體尺寸調整所述目標虛擬物體尺寸，根據所述人體中心位置確定所述目標虛擬物體在各幀圖像中的融合位置，將調整后的目標虛擬物體融合至所述視頻流中對應的各幀圖像中的融合位置，以得到經過特效處理的目標視頻流；

向所述直播客戶端，以及向觀看直播的用戶客戶端發送所述目標視頻流，以進行展示；

所述特效處理方法，還包括：

在所述對虛擬物體模板中的目標關鍵點進行位置調整之前，且在取得觀眾授權的情況下，從所述用戶客戶端獲取所述觀眾的人臉圖像；

將所述人臉圖像與標注所述目標關鍵點位置的標準模板融合，以得到所述虛擬物體模板。

2.根據權利要求1所述的特效處理方法，其中，所述根據各幀圖像中的所述人體關鍵點位置，對虛擬物體模板中的目標關鍵點進行位置調整，以得到各幀圖像對應的目標虛擬物體之前，還包括：

從所述直播客戶端獲取控制指令，其中，所述控制指令是響應于在所述直播客戶端執行的用戶操作生成的；

根據所述控制指令，確定所述標準模板。

3.一種直播的特效處理裝置，包括：

第一獲取模塊，用于獲取直播客戶端在進行直播時采集的視頻流；

第二獲取模塊，用于接收所述直播客戶端發送的所述視頻流中各幀圖像對應的人體關鍵點位置，其中，通過下述方式確定所述人體關鍵點位置：對所述視頻流中各幀圖像進行特征提取，將提取的所述各幀圖像對應的特征圖輸入經過訓練的人體關鍵點檢測模型，根據所述人體關鍵點檢測模型的輸出結果確定所述各幀圖像中的人體關鍵點位置；

調整模塊，用于根據各幀圖像中的所述人體關鍵點位置，對虛擬物體模板中的目標關鍵點進行位置調整，以得到各幀圖像對應的目標虛擬物體，其中，對每一幀圖像，根據所述人體關鍵點位置查詢關鍵點位置的映射關系，以得到目標位置，將所述虛擬物體模板中的目標關鍵點調整至所述目標位置，以得到所述目標虛擬物體；

融合模塊，用于獲取所述直播客戶端對各幀圖像識別得到的人體尺寸和人體中心位置，根據所述人體尺寸調整所述目標虛擬物體尺寸，根據所述人體中心位置確定所述目標虛擬物體在各幀圖像中的融合位置，將調整后的目標虛擬物體融合至所述視頻流中對應的各幀圖像中的融合位置，以得到經過特效處理的目標視頻流；

發送模塊，用于向所述直播客戶端，以及向觀看直播的用戶客戶端發送所述目標視頻流，以進行展示；

所述特效處理裝置的所述調整模塊，還包括：

獲取單元，用于在所述對虛擬物體模板中的目標關鍵點進行位置調整之前，且在取得觀眾授權的情況下，從所述用戶客戶端獲取所述觀眾的人臉圖像；

融合單元，用于將所述人臉圖像與標注所述目標關鍵點位置的標準模板融合，以得到所述虛擬物體模板。

4.根據權利要求3所述的特效處理裝置，其中，所述裝置，還包括：

第三獲取模塊，用于從所述直播客戶端獲取控制指令，其中，所述控制指令是響應于在所述直播客戶端執行的用戶操作生成的；

第一確定模塊，用于根據所述控制指令，確定所述標準模板。

5.一種服務器，包括：

至少一個處理器；以及

與所述至少一個處理器通信連接的存儲器；其中，

所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行權利要求1或2所述的直播的特效處理方法。

6.一種存儲有計算機指令的非瞬時計算機可讀存儲介質，所述計算機指令用于使所述計算機執行權利要求1或2所述的直播的特效處理方法。