[發明專利]視頻圖像的交互處理方法及裝置

有效

• 申請號: 201710506077.X
• 申請日: 2017-06-28
• 公開（公告）號: CN109151540B
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 李亮;陳少杰;張文明
• 申請（專利權）人: 武漢斗魚網絡科技有限公司
• 主分類號: H04N21/431
• 分類號: H04N21/431;H04N21/4402;H04N21/442;G06K9/00;G06T17/00
• 代理公司: 北京眾達德權知識產權代理有限公司 11570
• 代理人: 劉杰

1.一種視頻圖像的交互處理方法，其特征在于，包括:

在視頻直播過程中，獲取實時采集的視頻圖像中的人臉定位信息和人臉姿態信息；

根據所述人臉定位信息和人臉姿態信息確定目標三維模型在所述視頻圖像中的加載位置和偏轉角度；

根據所述加載位置和偏轉角度將所述目標三維模型加載到所述視頻圖像中人臉對應的顯示區域；

當所述視頻圖像中人臉的面部表情發生變化時，根據所述面部表情的變化控制所述目標三維模型生成相應的顯示狀態；

所述當所述視頻圖像中人臉的面部表情發生變化時，根據所述面部表情的變化控制所述目標三維模型生成相應的顯示狀態，包括：

當所述視頻圖像中人臉的面部表情發生變化時，獲取所述視頻圖像中發生變化的面部器官的關鍵點位置坐標；其中，關鍵點位置坐標包括面部器官上部區域中點的位置坐標以及下部區域中點的位置坐標；

根據所述關鍵點位置坐標以及預設調整參數獲取所述目標三維模型中與所述面部器官對應的模型組件的關鍵點模型坐標；其中，所述預設調整參數根據2D圖像的渲染參數以及3D模型的渲染參數計算得出；

確定所述關鍵點模型坐標所在平面的中心點D_center的坐標值D_center（x,y,z）；

在所述目標三維模型的坐標軸的XY平面內根據與所述面部器官對應的模型組件的各個x坐標值與所述中心點的x坐標值 D_center.x的距離大小以及所述的關鍵點模型坐標，對所述各個x坐標值對應的y坐標值進行相應的線性插值；

在所述目標三維模型的坐標軸的YZ平面內根據與所述面部器官對應的模型組件的各個z坐標與所述中心點的z坐標值D_center.z 的距離大小以及所述的關鍵點模型坐標，對所述各個z坐標值對應的y坐標值進行相應的線性插值；

所述目標三維模型為動物的頭部三維模型；

所述根據所述面部表情的變化控制所述目標三維模型生成相應的顯示狀態，包括：

根據所述面部表情的變化控制所述頭部三維模型生成相應的面部表情。

2.根據權利要求1所述的方法，其特征在于，所述根據人臉定位信息和人臉姿態信息確定目標三維模型在所述視頻圖像中的加載位置和偏轉角度，包括：

根據所述人臉定位信息確定所述目標三維模型加載到所述視頻圖像中的位置平移矩陣；

根據所述位置平移矩陣以及所述人臉姿態信息確定所述目標三維模型加載到所述視頻圖像中的旋轉矩陣；

根據所述旋轉矩陣以及所述目標三維模型對應的投影矩陣和視圖矩陣，確定所述目標三維模型的加載位置。

3.根據權利要求2所述的方法，其特征在于，在所述確定所述目標三維模型加載到所述視頻圖像中的旋轉矩陣之后，還包括：

根據所述視頻圖像中人臉對應的顯示區域的縮放比例，控制所述目標三維模型以相同縮放比例進行顯示。

4.根據權利要求1所述的方法，其特征在于，所述根據所述加載位置和偏轉角度將所述目標三維模型加載到所述視頻圖像中人臉對應的顯示區域，包括：

基于所述加載位置和偏轉角度，采用圖形程序接口或多媒體編程接口將所述目標三維模型加載到所述視頻圖像中人臉對應的顯示區域。

5.根據權利要求1所述的方法，其特征在于，在所述根據所述加載位置和偏轉角度將所述目標三維模型加載到所述視頻圖像中人臉對應的顯示區域之后，還包括：

獲取所述視頻圖像中實時更新的人臉信息，調整所述目標三維模型在所述視頻圖像中的加載位置和偏轉角度；

根據調整后的加載位置和偏轉角度，更新所述目標三維模型在所述視頻圖像中的顯示狀態。

6.根據權利要求1所述的方法，其特征在于，在所述根據所述加載位置和偏轉角度將所述目標三維模型加載到所述視頻圖像中人臉對應的顯示區域之前，還包括：

根據用戶觸發的模型選取操作，從預設三維模型庫中選取對應的三維模型，并將該三維模型作為所述目標三維模型。