[發明專利]表情符號人偶化

有效

• 申請號: 201810070546.2
• 申請日: 2018-01-25
• 公開（公告）號: CN108876877B
• 公開（公告）日: 2023-07-18
• 發明（設計）人: J·D·斯托伊勒斯;A·R·莫哈;N·V·斯卡普爾;G·P·巴里爾;A·古茲曼;B·M·索摩爾;N·達瑪斯基;T·威斯;T·古森斯;H·琺姆;B·阿姆伯格
• 申請（專利權）人: 蘋果公司
• 主分類號: G06T13/00
• 分類號: G06T13/00;G06F3/01
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 吳信剛

1.一種在包括圖像傳感器和深度傳感器的計算設備上執行的計算機實現的方法，所述方法包括：

使用所述深度傳感器接收表示相對于時間而變化的人頭部的多個深度信息幀；

接收表示所述人頭部的多個圖像信息幀；

根據所述多個深度信息幀和圖像信息幀，生成表情符號的視頻，其中所述圖像信息和所述深度信息捕捉所述人頭部的一個或多個表情和動作，其中所述生成針對所述一個或多個表情中的每個包括，

使用機器學習模型基于所述圖像信息和所述深度信息生成所述人頭部的無表情基網格，

使用所述機器學習模型來估計所述人頭部的所述無表情基網格與所述人頭部的對應于所述圖像信息和所述深度信息的表情基網格之間的差異量，以及

根據所述差異量來激活所述表情符號的對應表情；以及

在消息中將第一版本的所述表情符號的所述視頻傳輸到一個或多個計算設備。

2.根據權利要求1所述的方法，還包括：

從消息服務接收傳輸所述表情符號的所述視頻的一個或多個版本的指示，所述一個或多個版本對應于所述消息的一個或多個接收方的所述一個或多個計算設備的設備能力。

3.根據權利要求2所述的方法，其中所述第一版本包括：

傳輸帶有元數據標簽的所述視頻，所述元數據標簽使得接收計算設備能夠多次循環回放所述表情符號的所述視頻。

4.根據權利要求1所述的方法，其中所述多個深度信息幀和所述多個圖像信息幀是同步的，其中所述同步包括使所述多個圖像信息幀和深度信息幀在時間上對齊，使得在時間上對齊的一個圖像信息幀和一個深度信息幀構成一個關鍵幀，并且一個或多個關鍵幀被一個或多個圖像信息幀交織。

5.根據權利要求1所述的方法，其中所述表情符號的所述視頻通過即時消息系統來傳輸，所述即時消息系統包括一個或多個身份服務器和一個或多個消息服務器。

6.根據權利要求1所述的方法，還包括：

接收與所述人頭部相關聯的多個音頻信息幀；

將所述多個音頻信息幀與所述多個圖像信息幀及深度信息幀在時間上對齊；以及

呈現所述表情符號的所述視頻包括添加基于所述多個音頻信息幀的音頻。

7.一種非暫態計算機可讀介質，所述非暫態計算機可讀介質被編程有指令，所述指令在由耦接到圖像傳感器和深度傳感器的處理系統執行時，執行包括以下的操作：

使用所述深度傳感器接收表示相對于時間而變化的人頭部的多個深度信息幀；

接收表示所述人頭部的多個圖像信息幀；

根據所述多個深度信息幀和圖像信息幀，生成表情符號的視頻，其中所述圖像信息和所述深度信息捕捉所述人頭部的一個或多個表情和動作，其中所述生成針對所述一個或多個表情中的每個包括，

使用機器學習模型基于所述圖像信息和所述深度信息生成所述人頭部的無表情基網格，

使用所述機器學習模型來估計所述人頭部的所述無表情基網格與所述人頭部的對應于所述圖像信息和所述深度信息的表情基網格之間的差異量，以及

根據所述差異量來激活所述表情符號的對應表情；以及

在消息中將第一版本的所述表情符號的所述視頻傳輸到一個或多個計算設備。

8.根據權利要求7所述的介質，所述操作還包括：

從消息服務接收傳輸所述表情符號的所述視頻的一個或多個版本的指示，所述一個或多個版本對應于所述消息的一個或多個接收方的所述一個或多個計算設備的設備能力。

9.根據權利要求8所述的介質，其中所述第一版本包括：

傳輸帶有元數據標簽的所述視頻，所述元數據標簽使得接收計算設備能夠多次循環回放所述表情符號的所述視頻。