[發明專利]混合視覺通信

有效

• 申請號: 201410385592.3
• 申請日: 2014-08-07
• 公開（公告）號: CN104345801B
• 公開（公告）日: 2020-04-28
• 發明（設計）人: S.卡倫
• 申請（專利權）人: 三星電子株式會社
• 主分類號: G06F1/16
• 分類號: G06F1/16
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 張婧

1.一種用于在第一設備與第二設備之間的視覺通信的方法，包括：

使用來自相機系統的數據以創建第一設備用戶的三維網格模型，其中所述三維網格模型被制作為可用于存儲在第二設備上供隨后顯示在第二設備上；

在第一設備與第二設備之間的視覺通信對話期間，從傳感器陣列接收傳感器數據，該傳感器數據包括捕獲改變的第一設備用戶的面部表情和運動的圖像數據；

使用圖像數據確定三維網格模型更新；

發送三維網格模型更新到第二設備供第二設備更新第一設備用戶的三維網格模型的顯示；以及

從第二設備接收用于顯示在第一設備上的二維視頻流或者對第二設備用戶的三維網格模型的更新中的至少一個，

其中，從傳感器陣列接收傳感器數據還包括：接收與所述視覺通信對話的場景有關的其它傳感器數據，包括第一設備用戶的活動數據以及環境條件；下采樣并且聚合另一個傳感器數據以提供傳感器數據更新，其中在一時段期間接收到總共M個數據采樣，并且其中，下采樣和聚合降低M個數據采樣為N個傳感器數據更新以提供M×N數據變換，其中N遠遠小于M。

2.如權利要求1所述的方法，還包括：在發送三維網格模型更新到第二設備期間將傳感器數據更新與三維網格模型更新交織。

3.如權利要求1所述的方法，還包括：利用傳感器數據更新加強三維網格模型更新，用于在發送三維網格模型更新到第二設備之前顯示關于三維網格模型的附加圖形元素。

4.如權利要求1所述的方法，還包括：表示三維網格模型更新為以下其中之一：a)對于從檢測到的第一設備用戶的位置變化計算的三維網格模型的相對頂點位置的改變，和b)所選擇的混和形狀系數或者一個或多個所選擇的混和形狀的其它列舉。

5.如權利要求1所述的方法，其中，所述圖像數據可以包括第一設備用戶的背景的至少部分的圖像，其中，所述背景被發送到第二設備以使得三維網格模型在視覺通信對話期間顯示在第二設備上時被疊加在背景上。

6.如權利要求1所述的方法，還包括：在三維視覺模式期間發送三維網格模型更新以及在二維視覺模式期間發送二維視頻的流到第二設備。

7.如權利要求6所述的方法，還包括：使第一用戶能夠選擇性地在三維視覺模式與二維視覺模式之間來回切換。

8.如權利要求6所述的方法，還包括：基于可用帶寬向用戶自動地建議二維視覺模式或者三維視覺模式、以及基于在視覺通信對話期間對帶寬的變化來動態地改變視覺模式中的至少一個。

9.如權利要求1所述的方法，還包括：

響應于確定第二設備僅僅支持二維視頻通信或者處于二維視覺模式，在第一設備的顯示器上顯示從第二設備接收到的二維視頻流。

10.如權利要求1所述的方法，還包括：

響應于確定第二設備支持三維視覺通信或者處于三維視覺模式：

在第一設備上顯示第二設備用戶的三維網格模型；

響應于從第二設備接收三維網格模型更新來更新第二設備用戶的三維網格模型的顯示；以及

跟蹤第一設備用戶的臉相對于第一設備的運動，以及重新定向第二設備用戶的三維網格模型的顯示以在第一設備的顯示器上提供三維網格模型的不同的透視圖。

11.如權利要求10所述的方法，其中，在第一設備上顯示第二設備用戶的三維網格模型還包括：在第一設備上渲染三維網格模型以使得第二設備用戶的臉看起來直接看著第一設備用戶。

12.如權利要求11所述的方法，還包括：在第一設備上從第二設備接收第二設備用戶的臉的顏色圖像并且在三維網格模型的多邊形內選擇性地以顏色紋理的粒度更新所述顏色圖像。