[發明專利]視頻通話期間實現的方法、用戶終端及可讀存儲介質

有效

• 申請號: 202110009103.4
• 申請日: 2015-10-29
• 公開（公告）號: CN112671996B
• 公開（公告）日: 2023-10-13
• 發明（設計）人: H·V·特貝爾
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: H04N1/00
• 分類號: H04N1/00;H04N7/14
• 代理公司: 永新專利商標代理有限公司 72002
• 代理人: 賈麗萍

一種方法，包括：顯示UI以用于顯示所接收的視頻幀；當所接收的視頻幀被顯示時，檢測對在UI顯示按鈕的選擇；作為響應，禁用對所述所接收的視頻幀之后所接收的視頻幀的顯示；確定所述所接收的視頻幀中的用戶的臉部的位置；在所述可選擇的按鈕處于被選擇狀態時接收多個繪圖輸入，每個繪圖輸入定義了要應用在所述臉部上的臉部位置處的圖像數據；通過將所述圖像數據應用至所述位置中的每個位置上而根據所述繪圖輸入來修改所述視頻幀；以及對條件進行檢測并且作為響應，針對在檢測之后所接收的每個視頻幀，確定在所述幀中的所述臉部的位置以確定所述幀中的所述位置的定位，將所述圖像數據應用于所述位置中的每個位置，并且在所述UI中顯示經修改的視頻幀。

本申請是申請號為201580058866.0的中國專利申請的分案申請。

背景技術

基于分組的通信系統允許諸如個人計算機之類的設備的用戶使用諸如互聯網協議(IP)之類的分組協議而跨計算機網絡進行通信。基于分組的通信系統可以用于各種類型的通信事件。可以建立的通信事件包括語音通話、視頻通話、即時消息傳遞、語音郵件、文件傳輸等。這些系統對用戶是有益的是因為它們與固定線路或移動網絡相比常常具有顯著更低的成本。長途通信尤其是這樣的情況。為了使用基于分組的系統，用戶在其設備上安裝并執行客戶端軟件。所述客戶端軟件提供了基于分組的連接以及諸如注冊和認證之類的其他功能。

通信系統允許設備的用戶跨諸如互聯網之類的計算機網絡來進行通信。可以建立的通信事件包括語音通話、視頻通話、即時消息傳遞、語音郵件、文件傳輸等。利用視頻通話，除了語音信息之外，通話者還能夠查看另一方的視頻圖像。這使得各方之間能夠進行更為自然的通信，因為臉部表情也被傳送，由此使得視頻通話更加類似于面對面對話。

眾所周知的是，通信客戶端應用提供了使得用戶能夠通過添加二維剪貼畫效果來在用戶設備處修改所捕獲的視頻的功能。例如，用戶可以選擇添加胡須效果，應用檢測到用戶的臉部在所捕獲的幀中的位置，并且根據用戶的臉部在所捕獲的幀中的位置將所述胡須效果覆蓋在所述幀中的位置處。因此，胡須以二維方式隨著用戶臉部在所捕獲的視頻中改變位置而進行移動。

發明內容

本公開的實施例涉及在視頻通話期間向所顯示的視頻幀上進行繪制。用戶所繪制的繪圖被映射到視頻幀中的用戶臉部的多個點上，以使得該繪圖以三維方式隨用戶臉部移動。

發明人已經認識到，由于該繪圖是由用戶徒手輸入的，因此難以準確地繪制到所顯示的視頻幀上，尤其是當該視頻幀中的用戶的臉部正在移動時。該問題在用戶繪制到另一個用戶的臉部上，即無法控制所顯示的視頻幀中的臉部的移動量時更加嚴重。

根據本公開的第一方面，提供了一種在通過通信網絡與至少一個另外的用戶終端進行視頻通話的期間在用戶終端處實現的方法，所述方法包括：在所述用戶終端的顯示器上顯示用戶界面，以用于顯示所接收的視頻幀；當所接收的視頻幀被顯示在所述用戶界面中時，檢測由用戶使用所述用戶終端的輸入設備對在所述用戶界面中所顯示的可選擇的按鈕的選擇；響應于所述檢測，禁用對所述所接收的視頻幀之后所接收的視頻幀的顯示；通過在所述用戶終端的處理器上執行臉部追蹤算法來確定所述所接收的視頻幀中的用戶的臉部的位置；在所述可選擇的按鈕處于被選擇狀態時接收多個繪圖輸入，每個繪圖輸入定義了要應用在顯示在所述臉部的臉部位置處的圖像數據；通過將所述圖像數據應用于所述臉部的所述臉部位置而根據所接收的多個繪圖輸入來修改所顯示的視頻幀；對條件進行檢測并且響應于檢測到所述條件，針對在檢測到所述條件之后所接收的每個視頻幀，所述方法還包括：通過執行所述臉部追蹤器算法來確定在所述所接收的視頻幀中的所述臉部的位置，從而確定所述視頻幀中的所述臉部位置的定位；通過將所述圖像數據應用于所述臉部上的所述位置中的每個位置來修改所述視頻幀；并且在所述用戶界面中顯示經修改的視頻幀。