[發明專利]基于自適應跟蹤框分割的視頻數據實時處理方法及裝置

有效

• 申請號: 201711423802.3
• 申請日: 2017-12-25
• 公開（公告）號: CN108111911B
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 趙鑫;邱學侃;顏水成
• 申請（專利權）人: 北京奇虎科技有限公司
• 主分類號: H04N21/44
• 分類號: H04N21/44;H04N21/431;H04N21/2187;G06T7/11;G06T7/194;G06T7/246
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 胡海國

本發明公開了一種基于自適應跟蹤框分割的視頻數據實時處理方法、裝置、計算設備及計算機存儲介質，該方法包括：獲取一組幀圖像中包含有特定對象的第t幀圖像以及與第t?1幀圖像對應的跟蹤框；依據第t幀圖像，對與第t?1幀圖像對應的跟蹤框進行調整處理，得到與第t幀圖像對應的跟蹤框；根據與第t幀圖像對應的跟蹤框，對第t幀圖像的部分區域進行場景分割處理，得到與第t幀圖像對應的分割結果；根據分割結果，確定第t幀圖像的第二前景圖像；依據第二前景圖像，添加個性化特效，得到處理后的第t幀圖像；將處理后的第t幀圖像覆蓋第t幀圖像得到處理后的視頻數據；顯示處理后的視頻數據。該技術方案能夠更為精準、快速地對幀圖像添加個性化特效。

技術領域

本發明涉及圖像處理技術領域，具體涉及一種基于自適應跟蹤框分割的視頻數據實時處理方法、裝置、計算設備及計算機存儲介質。

背景技術

現有技術中，當用戶需要對視頻進行更換背景、添加特效等個性化處理時，經常會使用到圖像分割方法對視頻中的幀圖像進行場景分割處理，其中，采用基于深度學習的圖像分割方法可以達到像素級別的分割效果。然而現有的圖像分割方法在進行場景分割處理時，需要對幀圖像的全部內容都進行場景分割處理，數據處理量較大，處理效率較低；另外，現有的圖像分割方法在進行場景分割處理時，并不考慮前景圖像在幀圖像中所占比例，因此當前景圖像在幀圖像中所占比例較小時，利用現有的圖像分割方法很容易將實際屬于前景圖像邊緣處的像素點劃分為背景圖像，所得到的分割結果的分割精度較低、分割效果較差。因此，現有技術中的圖像分割方式存在著圖像場景分割的數據處理量大，處理效率和分割精度低下的問題，那么利用所得到的分割結果也無法很好地、精準地對視頻中的幀圖像添加個性化特效，所得到的處理后的視頻數據的顯示效果較差。

發明內容

鑒于上述問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的基于自適應跟蹤框分割的視頻數據實時處理方法、裝置、計算設備及計算機存儲介質。

根據本發明的一個方面，提供了一種基于自適應跟蹤框分割的視頻數據實時處理方法，該方法用于對視頻中每隔n幀劃分得到的各組幀圖像進行處理，針對其中一組幀圖像，該方法包括：

獲取一組幀圖像中包含有特定對象的第t幀圖像以及與第t-1幀圖像對應的跟蹤框，其中t大于1；與第1幀圖像對應的跟蹤框是根據與第1幀圖像對應的分割結果所確定的；

依據第t幀圖像，對與第t-1幀圖像對應的跟蹤框進行調整處理，得到與第t幀圖像對應的跟蹤框；根據與第t幀圖像對應的跟蹤框，對第t幀圖像的部分區域進行場景分割處理，得到與第t幀圖像對應的分割結果；

根據與第t幀圖像對應的分割結果，確定第t幀圖像的第二前景圖像；

依據第二前景圖像，添加個性化特效，得到處理后的第t幀圖像；

將處理后的第t幀圖像覆蓋第t幀圖像得到處理后的視頻數據；

顯示處理后的視頻數據。

進一步地，依據第二前景圖像，添加個性化特效，得到處理后的第t幀圖像進一步包括：

從第二前景圖像中提取出待處理區域的關鍵信息；

根據關鍵信息，繪制效果貼圖；

將效果貼圖、第二前景圖像與預設背景圖像進行融合處理，得到處理后的第t幀圖像；或者，將效果貼圖、第二前景圖像與根據與第t幀圖像對應的分割結果確定的第二背景圖像進行融合處理，得到處理后的第t幀圖像。

進一步地，關鍵信息為關鍵點信息；根據關鍵信息，繪制效果貼圖進一步包括：

查找與關鍵點信息對應的基礎效果貼圖；或者，獲取用戶指定的基礎效果貼圖；

根據關鍵點信息，計算具有對稱關系的至少兩個關鍵點之間的位置信息；