[發明專利]視頻圖像的交互處理方法及裝置

有效

• 申請號: 201710506077.X
• 申請日: 2017-06-28
• 公開（公告）號: CN109151540B
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 李亮;陳少杰;張文明
• 申請（專利權）人: 武漢斗魚網絡科技有限公司
• 主分類號: H04N21/431
• 分類號: H04N21/431;H04N21/4402;H04N21/442;G06K9/00;G06T17/00
• 代理公司: 北京眾達德權知識產權代理有限公司 11570
• 代理人: 劉杰

本發明實施例提供了一種視頻圖像的交互處理方法及裝置，該方法包括：在視頻直播過程中，獲取實時采集的視頻圖像中的人臉定位信息和人臉姿態信息；根據人臉定位信息和人臉姿態信息確定目標三維模型在所述視頻圖像中的加載位置和偏轉角度；根據加載位置和偏轉角度將目標三維模型加載到視頻圖像中人臉對應的顯示區域；當視頻圖像中人臉的面部表情發生變化時，根據面部表情的變化控制目標三維模型生成相應的顯示狀態。本發明實施例提供的視頻圖像的交互處理方法及裝置，通過在實時采集的視頻圖像中增加三維模型的特效顯示，并根據人臉信息控制三維模型的顯示狀態，實現模型與人臉的交互效果，有效地提高了直播過程的趣味性，提升用戶交互體驗。

技術領域

本發明涉及計算機網絡技術領域，尤其涉及一種視頻圖像的交互處理方法及裝置。

背景技術

隨著計算機和互聯網技術的不斷發展，視頻技術越來越多的應用在人們的日常生活和工作中，如視頻聊天、視頻游戲、視頻直播以及網絡視頻教學等。人們對視頻技術的要求也日益增高，越來越多的人希望視頻圖像能夠滿足他們多樣的個性化需求，因此，視頻特效技術應運而生，它可以使視頻內容變得更加豐富，效果更加逼真。例如，當人們用電腦攝像頭進行視頻交流時，視頻特效技術可以呈現出諸如特效字體顯示、特效動畫等多樣的視頻畫面，以滿足人們不同的個性化需要。

通常，視頻特效技術都是在二維平面上來完成的，通過對視頻中信息的定位和跟蹤，直接在二維圖像空間上，對二維圖像進行濾波來實現如馬賽克、人臉模糊、人臉替換等特效。在這些視頻特效中，各種視頻背景圖案的變換實質上是二維圖像的重疊，也就是實現一些比較簡單的特效效果。目前，三維視頻特效的產品還很少。一些單純的三維特效雖然可以實現一定的特效效果，但這種單純的三維特效是按照設定的程序運行，缺乏趣味性，用戶交互體驗差。

發明內容

鑒于上述問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的視頻圖像的交互處理方法及裝置。

本發明的一個方面，提供了一種視頻圖像的交互處理方法，包括:

在視頻直播過程中，獲取實時采集的視頻圖像中的人臉定位信息和人臉姿態信息；

根據所述人臉定位信息和人臉姿態信息確定目標三維模型在所述視頻圖像中的加載位置和偏轉角度；

根據所述加載位置和偏轉角度將所述目標三維模型加載到所述視頻圖像中人臉對應的顯示區域；

當所述視頻圖像中人臉的面部表情發生變化時，根據所述面部表情的變化控制所述目標三維模型生成相應的顯示狀態。

其中，所述目標三維模型為動物的頭部三維模型；

所述根據所述面部表情的變化控制所述目標三維模型生成相應的顯示狀態，包括：

根據所述面部表情的變化控制所述頭部三維模型生成相應的面部表情。

其中，所述根據人臉定位信息和人臉姿態信息確定目標三維模型在所述視頻圖像中的加載位置和偏轉角度，包括：

根據所述人臉定位信息確定所述目標三維模型加載到所述視頻圖像中的位置平移矩陣；

根據所述位置平移矩陣以及所述人臉姿態信息確定所述目標三維模型加載到所述視頻圖像中的旋轉矩陣；

根據所述旋轉矩陣以及所述目標三維模型對應的投影矩陣和視圖矩陣，確定所述目標三維模型的加載位置。

其中，在所述確定所述目標三維模型加載到所述視頻圖像中的旋轉矩陣之后，還包括：

根據所述視頻圖像中人臉對應的顯示區域的縮放比例，控制所述目標三維模型以相同縮放比例進行顯示。

其中，所述根據所述加載位置和偏轉角度將所述目標三維模型加載到所述視頻圖像中人臉對應的顯示區域，包括：