[發明專利]混合視覺通信

有效

• 申請號: 201410385592.3
• 申請日: 2014-08-07
• 公開（公告）號: CN104345801B
• 公開（公告）日: 2020-04-28
• 發明（設計）人: S.卡倫
• 申請（專利權）人: 三星電子株式會社
• 主分類號: G06F1/16
• 分類號: G06F1/16
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 張婧

用于在第一設備與第二設備之間的視覺通信的示范性實施例包括：使用來自相機系統的數據創建第一設備用戶的三維網格模型，其中所述三維網格模型被制作為可用于存儲在第二設備上以供隨后顯示在第二設備上；在第一設備與第二設備之間的視覺通信對話期間，從傳感器陣列接收傳感器數據，該傳感器數據包括捕獲改變第一設備用戶的面部表情和運動的圖像數據；使用圖像數據以確定三維網格模型更新；發送三維網格模型更新到第二設備以用于第二設備更新第一設備用戶的三維網格模型的顯示；以及從第二設備接收二維視頻流或者對第二設備用戶的三維網格模型的更新中的至少一個以顯示在第一設備上。

相關申請的交叉引用

本申請要求被轉讓給本申請的受讓人的、于2013年8月9日提交的臨時專利申請No.61/864,446的權益，并且通過引用合并于此。

技術領域

本申請涉及混合視覺通信。

背景技術

現有視頻通信系統和服務，諸如Skype^TM和Google Hangout^TM，在運行玩家應用的設備之間發送二維視頻信息流。這樣的視頻通信系統典型地在設備之間發送與音頻流配對的壓縮的連續圖像的視頻流。供單個用戶使用的大多數視頻通信系統需要在包括相機和顯示器的計算機上運行的玩家應用。計算機設備的例子可以包括具有安裝在屏幕上方的相機的臺式機或者膝上型計算機，或者具有嵌入位于上方的前蓋的相機的移動電話。

雖然向用戶有利地提供視頻能力，但是現有視頻通信系統具有若干缺點。例如，現有視頻通信系統典型地需要高帶寬并且是固有地高延遲，因為整個圖像序列需要在發送信號到另一設備之前被生成和壓縮。另外，對于低延遲和高質量應用來說，現有視頻通信系統需要通信設備通過Wi--Fi、3G或者4G移動通信技術進行發送。

不論在臺式機、膝上計算機還是移動電話上，視頻通信裝置中的另一個問題是，因為用戶的注視方向是在設備的顯示器上，其一般低于相機安裝的地方，所以用戶看起來好像在俯視它們經由視頻正在通信的人。這一相機/顯示器幾何結構不一致使用戶不能在眼睛看著彼此的同時進行會話。相關問題是，發送包括人的二維圖像序列的視頻還丟失關于他們的臉的三維深度信息。

還存在一些系統，它們可以發送用戶的替身(alter ego)或者角色——通常稱為化身(avatar)的圖形表示，但是化身一般無法在通信期間傳達用戶的實際外表、面部表情和肢體運動。

因此，存在對于能夠在降低帶寬的同時顯示用戶實際外表、面部表情和實時運動的電視通信系統的需要。

發明內容

示范性實施例提供用于在第一設備與第二設備之間的視覺通信的方法和系統。示范性實施例的方面包括：使用來自相機系統的數據創建第一設備用戶的三維網格模型，其中所述三維網格模型被制作為可用于存儲在第二設備上以供隨后顯示在第二設備上；在第一設備與第二設備之間的視覺通信對話期間，從傳感器陣列接收傳感器數據，該傳感器數據包括捕獲改變第一設備用戶的面部表情和運動的圖像數據；使用圖像數據確定三維網格模型更新；發送三維網格模型更新到第二設備以用于第二設備更新第一設備用戶的三維網格模型的顯示；以及從第二設備接收二維視頻流或者對第二設備用戶的三維網格模型的更新中的至少一個以顯示在第一設備上。

根據此處公開的方法和系統，考慮在帶寬受限的環境中流暢的通信，發送三維網格模型更新需要比發送圖像序列小很多的帶寬。另外，在第一設備上，在解釋對于三維網格模型的改變和發送更新比捕獲新的圖像和壓縮圖像為圖像序列方面存在低延遲。在第二設備上，與必須等待整個圖像編碼/壓縮/發送/解壓縮循環相反，三維網格模型或者混和形狀的單個節點能夠被一次更新。并且即使第二設備不支持三維視頻通信，第二設備仍能夠在通過傳統的二維視頻發送通信到第一設備的同時顯示第一設備用戶的三維網格模型。

附圖說明