[發明專利]一種視頻通信方法、系統、裝置和終端設備

有效

• 申請號: 201810846010.5
• 申請日: 2018-07-27
• 公開（公告）號: CN110769323B
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 李松南
• 申請（專利權）人: TCL科技集團股份有限公司
• 主分類號: H04N21/4788
• 分類號: H04N21/4788;H04N21/442;H04N21/44;H04N7/14;G06T5/50
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 李艷麗

1.一種視頻通信方法，其特征在于，包括：

在第一終端錄制包含用戶頭部的背景視頻，將所述背景視頻發送至第二終端；

在所述第一終端獲取當前用戶的視頻信息，并對視頻信息中用戶的人臉特征點進行檢測；

在所述第一終端根據所述人臉特征點從所述視頻信息的視頻幀中對臉部圖像進行截取、壓縮、并傳輸到所述第二終端；

計算背景視頻中的每一背景幀中用戶的頭部偏轉角度，以及計算所述每一視頻幀中用戶的頭部偏轉角度；

在所述第二終端根據所述視頻幀中用戶的頭部旋轉角度從所述背景視頻中選擇頭部旋轉角度相近或相匹配的背景幀，并將所述背景幀與所述臉部圖像進行融合，生成最終的合成圖像；其中，所述將所述背景幀與所述臉部圖像進行融合，生成最終的合成圖像，包括：通過相似變換，將所述臉部圖像與背景幀中的人臉區域進行位置對齊；根據人臉形變模型中的表情參數和頭部旋轉角度對人臉特征點進行更新，根據更新后的人臉特征點改變背景幀中的人臉區域；將所述人臉區域與所述臉部圖像進行融合，生成最終的合成圖像。

2.如權利要求1所述的視頻通信方法，其特征在于，所述頭部偏轉角度的計算在第一終端執行，或者在接收到所述背景幀和視頻幀的第二終端執行。

3.如權利要求2所述的視頻通信方法，其特征在于，所述計算頭部偏轉角度的步驟，包括：

通過人臉形變模型對所述背景幀或者視頻幀中的臉型和表情進行擬合，計算得到臉部圖像中的頭部旋轉角度。

4.如權利要求1所述的視頻通信方法，其特征在于，在所述第二終端根據所述視頻幀中用戶的頭部旋轉角度從所述背景視頻中選擇頭部旋轉角度相近或相匹配的背景幀，包括：

當所述背景視頻中包含與視頻幀中的頭部旋轉角度相近或者相匹配的多幀背景幀時，選擇與所述視頻幀的時間接近的背景幀。

5.一種視頻通信方法，其特征在于，包括：

在終端設備錄制包含用戶頭部的背景視頻，將所述背景視頻發送至與所述終端設備進行視頻通信的另一終端設備；

在所述終端設備獲取當前用戶的視頻信息，并對視頻信息中用戶的人臉特征點進行檢測；

在所述終端設備計算每一背景視頻中的背景幀中用戶的頭部偏轉角度，以及計算所述每一視頻幀中用戶的頭部偏轉角度；

在所述終端設備根據所述人臉特征點從所述視頻信息的視頻幀中對臉部圖像進行截取、壓縮、并傳輸到所述另一終端設備，以使得在所述另一終端設備根據所述視頻幀中用戶的頭部旋轉角度從所述背景視頻中選擇頭部旋轉角度相近或相匹配的背景幀，并將所述背景幀與所述臉部圖像進行融合，生成最終的合成圖像；其中，所述將所述背景幀與所述臉部圖像進行融合，生成最終的合成圖像，包括：通過相似變換，將所述臉部圖像與背景幀中的人臉區域進行位置對齊；根據人臉形變模型中的表情參數和頭部旋轉角度對人臉特征點進行更新，根據更新后的人臉特征點改變背景幀中的人臉區域；將所述人臉區域與所述臉部圖像進行融合，生成最終的合成圖像。

6.如權利要求5所述的視頻通信方法，其特征在于，所述計算頭部偏轉角度的步驟，包括：

通過人臉形變模型對所述背景幀或者視頻幀中的臉型和表情進行擬合，計算得到臉部圖像中的頭部旋轉角度。