[發明專利]基于自適應跟蹤框分割的視頻數據實時處理方法及裝置

有效

• 申請號: 201711423802.3
• 申請日: 2017-12-25
• 公開（公告）號: CN108111911B
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 趙鑫;邱學侃;顏水成
• 申請（專利權）人: 北京奇虎科技有限公司
• 主分類號: H04N21/44
• 分類號: H04N21/44;H04N21/431;H04N21/2187;G06T7/11;G06T7/194;G06T7/246
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 胡海國

1.一種基于自適應跟蹤框分割的視頻數據實時處理方法，所述方法用于對視頻中每隔n幀劃分得到的各組幀圖像進行處理，針對其中一組幀圖像，所述方法包括：

獲取所述一組幀圖像中包含有特定對象的第t幀圖像以及與第t-1幀圖像對應的跟蹤框，其中t大于1；與第1幀圖像對應的跟蹤框是根據與第1幀圖像對應的分割結果所確定的；

依據第t幀圖像，對與第t-1幀圖像對應的跟蹤框進行調整處理，得到與第t幀圖像對應的跟蹤框；根據與第t幀圖像對應的跟蹤框，對所述第t幀圖像的部分區域進行場景分割處理，得到與第t幀圖像對應的分割結果；其中，與第t-1幀圖像對應的跟蹤框能夠完全將第t-1幀圖像中的第一前景圖像框選在內；與第t幀圖像對應的跟蹤框能夠將第t幀圖像中的第一前景圖像框選在內；所述部分區域是指與第t幀圖像對應的跟蹤框內的區域；

根據與第t幀圖像對應的分割結果，確定第t幀圖像的第二前景圖像；

依據所述第二前景圖像，添加個性化特效，得到處理后的第t幀圖像；

將所述處理后的第t幀圖像覆蓋所述第t幀圖像得到處理后的視頻數據；

顯示處理后的視頻數據。

2.根據權利要求1所述的方法，其中，所述依據所述第二前景圖像，添加個性化特效，得到處理后的第t幀圖像進一步包括：

從所述第二前景圖像中提取出待處理區域的關鍵信息；

根據所述關鍵信息，繪制效果貼圖；

將所述效果貼圖、所述第二前景圖像與預設背景圖像進行融合處理，得到處理后的第t幀圖像；或者，將所述效果貼圖、所述第二前景圖像與根據與第t幀圖像對應的分割結果確定的第二背景圖像進行融合處理，得到處理后的第t幀圖像。

3.根據權利要求2所述的方法，其中，所述關鍵信息為關鍵點信息；所述根據所述關鍵信息，繪制效果貼圖進一步包括：

查找與所述關鍵點信息對應的基礎效果貼圖；或者，獲取用戶指定的基礎效果貼圖；

根據所述關鍵點信息，計算具有對稱關系的至少兩個關鍵點之間的位置信息；

依據所述位置信息，對所述基礎效果貼圖進行處理，得到效果貼圖。

4.根據權利要求1所述的方法，其中，所述依據所述第二前景圖像，添加個性化特效，得到處理后的第t幀圖像進一步包括：

從所述第二前景圖像中提取出待識別區域的關鍵信息；

依據所述關鍵信息，對所述特定對象的姿態進行識別，得到所述特定對象的姿態識別結果；

根據所述特定對象的姿態識別結果，確定對應的對第t幀圖像待響應的效果處理命令，得到處理后的第t幀圖像。

5.根據權利要求4所述的方法，其中，所述根據所述特定對象的姿態識別結果，確定對應的對第t幀圖像待響應的效果處理命令，得到處理后的第t幀圖像進一步包括：

根據所述特定對象的姿態識別結果，以及所述第t幀圖像中的包含的與交互對象的交互信息，確定對應的對第t幀圖像待響應的效果處理命令，得到處理后的第t幀圖像。

6.根據權利要求4所述的方法，其中，所述待響應的效果處理命令包括效果貼圖處理命令、風格化處理命令、亮度處理命令、光照處理命令和/或色調處理命令。

7.根據權利要求1-6任一項所述的方法，其中，所述依據第t幀圖像，對與第t-1幀圖像對應的跟蹤框進行調整處理進一步包括：

對第t幀圖像進行識別處理，確定第t幀圖像中針對特定對象的第一前景圖像；

將與第t-1幀圖像對應的跟蹤框應用于第t幀圖像；

根據第t幀圖像中的第一前景圖像，對與第t-1幀圖像對應的跟蹤框進行調整處理。