[發明專利]一種視頻通信方法、系統、裝置和終端設備

有效

• 申請號: 201810846010.5
• 申請日: 2018-07-27
• 公開（公告）號: CN110769323B
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 李松南
• 申請（專利權）人: TCL科技集團股份有限公司
• 主分類號: H04N21/4788
• 分類號: H04N21/4788;H04N21/442;H04N21/44;H04N7/14;G06T5/50
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 李艷麗

本發明適用于通信技術領域，提供了一種視頻通信方法、系統、裝置及終端設備。該方法包括：在第一終端錄制包含用戶頭部的背景視頻，將背景視頻發送至第二終端；獲取當前用戶的視頻信息，并對視頻信息中用戶人臉的人臉特征點進行檢測；根據人臉特征點在人臉上的位置對臉部圖像進行截取、壓縮、并傳輸到第二終端；第二終端對接收到的視頻信息進行解碼，并按照人臉特征點的位置計算頭部旋轉角度；在第二終端在第二終端根據視頻幀中用戶的頭部旋轉角度從背景視頻中選擇頭部旋轉角度相近或相匹配的背景幀，并將背景幀與臉部圖像進行融合，生成最終的合成圖像。本發明在網絡帶寬無法滿足高清視頻傳輸要求的條件下，仍然能在電視上進行高畫質的視頻通話。

技術領域

本發明屬于通信技術領域，尤其涉及一種視頻通信方法、系統、裝置和終端設備。

背景技術

隨著網絡傳輸速度的加快、視頻編解碼技術的提高以及終端硬件的性能提升，越來越多的用戶使用視頻通話代替傳統的語音通話，實現遠程聊天或會議。并且，隨著電視終端的智能化，越來越多的用戶開始使用電視來代替手機進行視頻通話。這就帶來了一個問題：由于電視屏幕尺寸要遠遠大于手機屏幕尺寸，而且人們已經習慣于電視的高畫質，而用戶終端的網絡上行帶寬非常小，通常只能支持VGA(640x480)甚至更小尺寸的視頻傳輸速率，因此，屏幕的高分辨率(4K)、用戶對畫質的高要求與低的上行網絡帶寬形成了一對矛盾，導致在電視上進行視頻通話的質量遠遠無法達到用戶要求。

因此，有必要提出一種方案，以解決上述問題。

發明內容

有鑒于此，本發明實施例提供了一種視頻通信方法及系統，以使得在網絡帶寬無法滿足高清視頻傳輸要求的條件下，仍然能在電視上進行高畫質的視頻通話。

本發明實施例的第一方面提供了一種視頻通信方法，包括：

在第一終端錄制包含用戶頭部的背景視頻，將所述背景視頻發送至第二終端；

在所述第一終端獲取當前用戶的視頻信息，并對視頻信息中用戶人臉的人臉特征點進行檢測；

在所述第一終端根據所述人臉特征點在人臉上的位置對臉部圖像進行截取、壓縮、并傳輸到所述第二終端；

在所述第二終端根據所述視頻幀中用戶的頭部旋轉角度從所述背景視頻中選擇頭部旋轉角度相近或相匹配的背景幀，并將所述背景幀與所述臉部圖像進行融合，生成最終的合成圖像。

可選地，所述在所述第二終端根據所述視頻幀中用戶的頭部旋轉角度從所述背景視頻中選擇頭部旋轉角度相近或匹配的背景幀之前，還包括以下步驟：

計算每一背景幀中用戶的頭部偏轉角度，以及計算所述每一視頻幀中用戶的頭部偏轉角度；其中，所述頭部偏轉角度的計算在第一終端執行，或者在接收到所述背景幀和視頻幀的第二終端執行。

可選地，所述計算頭部偏轉角度的步驟，包括：

通過人臉形變模型對所述背景幀或者視頻幀中的臉型和表情進行擬合，計算得到臉部圖像中的頭部旋轉角度。

可選地，將所述背景幀與所述臉部圖像進行融合，生成最終的合成圖像，包括：

通過相似變換，將所述臉部圖像與背景幀中的人臉區域進行位置對齊；

根據所述人臉形變模型中的表情參數和頭部旋轉角度對人臉特征點進行更新，根據更新后的人臉特征點改變背景幀中的人臉區域；

將所述人臉區域與所述臉部圖像進行融合，生成最終的合成圖像。

可選地，所述視頻通信方法還包括：

緩存所述背景視頻，所述背景視頻記錄了用戶的發型、身型、衣著以及所處的室內環境。

本發明實施例的第二方面提供了一種視頻通信系統，包括：