[發明專利]修改視頻通話數據

有效

• 申請號: 201580058872.6
• 申請日: 2015-10-28
• 公開（公告）號: CN107111427B
• 公開（公告）日: 2020-06-05
• 發明（設計）人: H·V·特貝爾
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06F3/0484
• 分類號: G06F3/0484;G06F3/0488;G06T11/00;G06T11/60;G06T15/04;G06T19/20
• 代理公司: 永新專利商標代理有限公司 72002
• 代理人: 王英;劉瑜

一種方法，包括：顯示UI以用于顯示所接收的視頻；檢測對UI按鈕的選擇；在該按鈕被選擇時接收多個繪圖輸入，每個繪圖輸入定義了要應用在顯示在所接收的視頻幀中的用戶臉部的第一側面上的臉部位置處的圖像數據；針對每個繪圖輸入，確定所述臉部的第二側面上與所述臉部位置對稱相反的另外的臉部位置；并且針對所接收的每個視頻幀，所述方法包括：針對每個繪圖輸入(i)通過執行算法來確定在所述幀中所述臉部的位置，從而確定在所述幀中的所述臉部位置的定位以及所確定的另外的臉部位置的定位；以及(ii)將所述圖像數據應用于所述臉部位置和所述所確定的另外的臉部位置；并且在所述UI中顯示經修改的幀。

背景技術

基于分組的通信系統允許諸如個人計算機之類的設備的用戶使用諸如互聯網協議(IP)之類的分組協議而跨計算機網絡進行通信。基于分組的通信系統可以用于各種類型的通信事件。可以建立的通信事件包括語音通話、視頻通話、即時消息傳遞、語音郵件、文件傳輸等。這些系統對用戶是有益的是因為它們與固定線路或移動網絡相比常常具有顯著更低的成本。長途通信尤其是這樣的情況。為了使用基于分組的系統，用戶在其設備上安裝并執行客戶端軟件。所述客戶端軟件提供了基于分組的連接以及諸如注冊和認證之類的其他功能。

通信系統允許設備的用戶跨諸如互聯網之類的計算機網絡來進行通信。可以建立的通信事件包括語音通話、視頻通話、即時消息傳遞、語音郵件、文件傳輸等。利用視頻通話，除了語音信息之外，通話者還能夠查看另一方的視頻圖像。這使得各方之間能夠進行更為自然的通信，因為臉部表情也被傳送，由此使得視頻通話更加類似于面對面對話。

眾所周知的是，通信客戶端應用提供了使得用戶能夠通過添加二維剪貼畫效果來在用戶設備處修改所捕獲的視頻的功能。例如，用戶可以選擇添加胡須效果，應用檢測到用戶的臉部在所捕獲的幀中的位置，并且根據用戶的臉部在所捕獲的幀中的位置將所述胡須效果覆蓋在所述幀中的位置處。因此，胡須以二維方式隨著用戶臉部在所捕獲的視頻中改變位置而進行移動。

發明內容

本公開的實施例涉及在視頻通話期間向所顯示的視頻幀上進行繪制。用戶所繪制的繪圖被映射到視頻幀中的用戶臉部的多個點上，以使得該繪圖以三維方式隨用戶臉部移動。

發明人已經認識到，由于該繪圖是由用戶徒手輸入的，因此難以準確地繪制到所顯示的視頻幀上，尤其是當該視頻幀中的用戶的臉部正在移動時。該問題在用戶繪制到另一個用戶的臉部上，即無法控制所顯示的視頻幀中的臉部的移動量時更加嚴重。

根據本公開的第一方面，提供了一種在通過通信網絡與至少一個另外的用戶終端進行視頻通話的期間在用戶終端處實現的方法，所述方法包括：在所述用戶終端的顯示器上顯示用戶界面，以用于顯示所接收的視頻幀；檢測由用戶使用所述用戶終端的輸入設備對在所述用戶界面中所顯示的可選擇的按鈕的選擇；在所述可選擇的按鈕處于被選擇狀態時接收多個繪圖輸入，每個繪圖輸入定義了要應用在顯示在所接收的視頻幀中的用戶臉部的第一側面上的臉部位置處的圖像數據；針對所述多個繪圖輸入中的每個繪圖輸入，確定所述臉部的第二側面上的另外的臉部位置，所述臉部的所述第二側面上的所述另外的臉部位置與所述臉部的所述第一側面上的所述臉部位置對稱相反；以及針對所接收的每個視頻幀，所述方法包括：針對所述多個繪圖輸入中的每個繪圖輸入，(i)通過在所述用戶終端的處理器上執行臉部追蹤器算法來確定在所述所接收的視頻幀中的所述臉部的位置，從而確定在所述視頻幀中所述臉部上的所述臉部位置的定位以及在所述視頻幀中所確定的另外的臉部位置的定位；以及(ii)通過將所述圖像數據應用于所述臉部的所述第一側面上的所述臉部位置以及所述臉部的所述第二側面上的所確定的另外的臉部位置來修改所述視頻幀；并且在所述用戶界面中顯示經修改的視頻幀。