[發明專利]具有三維感知的視頻通信

有效

• 申請號: 201380033428.X
• 申請日: 2013-07-24
• 公開（公告）號: CN104380704B
• 公開（公告）日: 2017-11-17
• 發明（設計）人: Y.吳;W.孫;M.M.楚;E.德雷沙;P.穆斯;L.B.艾恩斯沃思;G.舍馬克;I.V.科津特塞夫
• 申請（專利權）人: 英特爾公司
• 主分類號: H04N5/222
• 分類號: H04N5/222;H04N5/232;H04N13/00;H04N13/04
• 代理公司: 中國專利代理(香港)有限公司72001
• 代理人: 姜冰,湯春龍

技術領域

本公開涉及實時視頻通信，并且更具體地涉及具有三維感知的實時視頻通信。

背景技術

例如各自在計算機上的本地用戶和遠程用戶之間的視頻通信變得日益常見和可用。這歸因于內置視頻攝像機和麥克風的個人計算機的流行以及高速互聯網連通性的日益可用性。但是，由于通常與三維(3D)成像關聯的所增加的硬件復雜性，大多數視頻通信限于提供二維(2D)屏幕圖像。這些復雜性可包括使用雙攝像機、具有同步和校準的昂貴顯示技術和難度。

但是，3D視頻通信是值得期望的。深度感知向用戶提供視覺提示，并且這些提示可增強與通信體驗關聯的空間和現實的感覺。如果能夠以減少的成本并且無需對諸如第二攝像機或復雜顯示器之類的附加硬件的要求來提供深度感知，則可由此增加用戶體驗的質量和滿意。

附圖說明

隨著下面的詳細描述繼續并且在參考附圖時，所要求保護的主題的實施例的特征和優點將變得明顯，在附圖中，相似的標號描繪相似的部分，并且其中：

圖1示出與本公開一致的視頻通信系統的一個示范性實施例的頂級系統圖；

圖2示出與本公開一致的視頻通信系統的一個示范性實施例的框圖；

圖3示出與本公開一致的示范性實施例的前景切分（segmentation）模塊的附加框圖細節；

圖4示出與本公開的示范性實施例一致的前景掩模（mask）和邊界輪廓；

圖5示出與本公開一致的示范性實施例的背景估計模塊的附加框圖細節；

圖6示出與本公開一致的示范性實施例的操作的流程圖。

雖然下面的詳細描述將通過對說明性實施例進行參考來繼續，但是本領域技術人員將明白其許多的備選、修改和變形。

具體實施方式

一般地，本公開提供用于具有三維(3D)感知圖像的實時視頻通信的方法和系統，該三維感知圖像通過基于標識、切分和跟蹤圖像的前景和背景層所生成的視差效應來呈現。本地視頻圖像幀可在本地系統或平臺中從本地攝像機獲得，并且被切分為前景層和背景層。與層邊界有關的信息可連同本地視頻圖像被傳送到遠程系統。遠程系統可類似將遠程視頻圖像和關聯的層邊界信息提供給本地系統。可檢測并且在多個視頻幀上跟蹤本地用戶的面部的位置。本地系統可生成具有3D感知的圖像，該具有3D感知的圖像要通過其中遠程前景和遠程背景層相對于彼此移動的運動視差的引入在本地顯示器上顯示給本地用戶。通過跟蹤本地用戶的面部位置來控制相對運動。背景運動可相對于前景運動處于降低的速率，從而能夠使用每個平臺上的單個攝像機來實現實時視頻流傳送中的3D感知。

圖1示出與本公開一致的一個示范性實施例的頂級系統圖100。該系統可在本地用戶120和遠程用戶122之間提供具有3D感知的流傳送視頻通信。本地視頻攝像機102獲得一個或多個圖像幀，所述一個或多個圖像幀可包括在背景場景或環境118前面的本地用戶120。本地視頻攝像機102可關聯于或集成到本地計算機系統或平臺，諸如，例如，膝上型計算機或計算機監視器、或者它可以是獨立的攝像機。在一些實施例中，本地視頻攝像機102可獲得顏色視頻圖像和深度圖像這兩者，如下面將更詳細地解釋的。本地視頻幀可被提供給本地3D感知處理模塊104，其可將圖像切分為本地前景和背景層，從而創建本地前景掩模以及跟蹤本地用戶的面部的位置，如下面將更詳細地解釋的。本地前景掩模和本地視頻顏色幀可隨后在網絡106上被傳送到與遠程用戶122的遠程計算機系統或平臺關聯的遠程3D感知處理模塊110。遠程3D感知處理模塊110可為遠程用戶122提供本地3D感知處理模塊為本地用戶120提供的相同或類似的功能性。

本地3D感知處理模塊104可在網絡106上接收可連同本地用戶的面部的所跟蹤位置使用的遠程前景掩模和遠程視頻顏色幀，以在本地顯示器108上呈現具有3D感知的遠程用戶和遠程背景的圖像。3D感知可基于視差運動，該視差運動響應于本地用戶的面部的位置在所顯示的前景(例如，遠程用戶)和所顯示的遠程背景環境之間生成。例如，當本地用戶的面部移向本地用戶的左方時，遠程用戶將在本地觀看顯示器上相對于遠程背景顯現為右移。