[發明專利]具有三維感知的視頻通信

有效

• 申請號: 201380033428.X
• 申請日: 2013-07-24
• 公開（公告）號: CN104380704B
• 公開（公告）日: 2017-11-17
• 發明（設計）人: Y.吳;W.孫;M.M.楚;E.德雷沙;P.穆斯;L.B.艾恩斯沃思;G.舍馬克;I.V.科津特塞夫
• 申請（專利權）人: 英特爾公司
• 主分類號: H04N5/222
• 分類號: H04N5/222;H04N5/232;H04N13/00;H04N13/04
• 代理公司: 中國專利代理(香港)有限公司72001
• 代理人: 姜冰,湯春龍

1.一種用于生成三維(3D)感知的方法，所述方法包括：

將當前本地視頻幀切分為本地前景層和本地背景層；

基于所述本地前景層和所述本地背景層之間估計的邊界來生成本地前景掩模；

將所述當前本地視頻幀和所述本地前景掩模傳送到遠程視頻處理器，所述遠程視頻處理器配置成基于所述當前本地視頻幀和所述本地前景掩模來呈現3D感知圖像；

從所述遠程視頻處理器接收當前遠程視頻幀和遠程前景掩模；

跟蹤本地用戶的面部的位置，所述跟蹤基于所述當前本地視頻幀以及一個或多個先前本地視頻幀；

基于所述當前遠程視頻幀和所述遠程前景掩模來估計遠程背景層；以及

基于所述估計的遠程背景層、所述遠程前景掩模、所述當前遠程視頻幀和所述本地用戶的面部的所述跟蹤的位置來呈現3D感知圖像。

2.如權利要求1所述的方法，其中，所述當前本地視頻幀包括本地顏色視頻圖像幀和本地圖像深度數據幀，并且其中，所述傳送所述當前本地視頻幀包括傳送所述本地顏色視頻圖像幀。

3.如權利要求2所述的方法，其中，所述生成所述本地前景掩模還包括基于所述本地圖像深度數據幀來生成粗略前景掩模，并且還包括基于所述粗略前景掩模和所述本地顏色視頻圖像幀來生成精制的前景掩模。

4.如權利要求3所述的方法，其中，所述生成所述粗略前景掩模還包括去噪過濾、閾值化和連接分量分析。

5.如權利要求3所述的方法，其中，所述生成所述精制的前景掩模還包括層綁定、圖裁剪處理和平滑過濾。

6.如權利要求1所述的方法，其中，所述呈現還包括基于所述遠程前景掩模從所述當前遠程視頻幀提取遠程前景層，并且合成所述提取的遠程前景層和所述估計的遠程背景層，其中，所述提取的遠程前景層被定位在相對于所述估計的遠程背景層的偏移，所述相對的偏移基于所述本地用戶的面部的所述跟蹤的位置。

7.如權利要求6所述的方法，其中，所述估計的遠程背景層被定位在第一偏移，，并且所述提取的遠程前景層被定位在第二偏移，，其中，是包括與所述本地用戶的面部位置的所述跟蹤的位置關聯的方向和距離的運動向量，是0到1的范圍中的比例因子，并且是0到1的范圍中的比例因子。

8.如權利要求7所述的方法，其中，，并且選擇和以在所述呈現的3D感知圖像中生成視差。

9.一種用于生成三維(3D)感知的系統，所述系統包括：

圖像切分模塊，配置成將當前本地視頻幀切分為本地前景層和本地背景層，并且基于所述本地前景層和所述本地背景層之間估計的邊界來生成本地前景掩模，其中，所述當前本地視頻幀包括本地顏色視頻圖像幀和本地圖像深度數據幀；

面部跟蹤模塊，配置成基于所述當前本地視頻幀以及一個或多個先前本地視頻幀來跟蹤本地用戶的面部的位置；

背景層估計模塊，配置成估計與從遠程視頻處理器接收的當前遠程視頻幀和遠程前景掩模關聯的遠程背景層；以及

圖像呈現模塊，配置成基于所述估計的遠程背景層、從所述遠程視頻處理器接收的所述當前遠程視頻幀和所述遠程前景掩模、以及所述本地用戶的面部的所述跟蹤的位置來呈現3D感知圖像。

10.如權利要求9所述的系統，其中，所述圖像切分模塊還包括配置成基于所述本地圖像深度數據幀來生成粗略前景掩模的粗略切分模塊，并且還包括配置成基于所述粗略前景掩模和所述本地顏色視頻圖像幀來生成精制的前景掩模的邊界精制模塊。

11.如權利要求10所述的系統，其中，所述粗略切分模塊還包括去噪過濾模塊、耦合到所述去噪過濾模塊的閾值化模塊以及耦合到所述閾值化模塊的連接分量分析模塊。

12.如權利要求10所述的系統，其中，所述邊界精制模塊還包括層綁定模塊、耦合到所述層綁定模塊的圖裁剪處理模塊、以及耦合到所述圖裁剪處理模塊的平滑過濾。

13.如權利要求9所述的系統，其中，所述呈現模塊還配置成基于所述遠程前景掩模從所述當前遠程視頻幀來提取遠程前景層，并且合成所述提取的遠程前景層和所述估計的遠程背景層，其中，所述提取的遠程前景層被定位在相對于所述估計的遠程背景層的偏移，所述相對的偏移基于所述本地用戶的面部的所述跟蹤的位置。