[發(fā)明專利]三維遙現(xiàn)終端及方法

有效

• 申請?zhí)枺?/td>: 201780047564.2
• 申請日: 2017-09-08
• 公開（公告）號: CN109565567B
• 公開（公告）日: 2020-12-08
• 發(fā)明（設(shè)計）人: 丹尼爾·戈德曼;杰森·勞倫斯;安德魯·胡伊博斯;安德魯·伊安·拉塞爾;史蒂文·M·塞茨
• 申請（專利權(quán)）人: 谷歌有限責(zé)任公司
• 主分類號: H04N7/14
• 分類號: H04N7/14;H04N7/15
• 代理公司: 中原信達(dá)知識產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 周亞榮;安翔

一種示例遙現(xiàn)終端包括透鏡顯示器、圖像傳感器、紅外發(fā)射器和紅外深度傳感器。所述終端可以使用由紅外發(fā)射器發(fā)射并由圖像傳感器捕獲的可見光來確定圖像數(shù)據(jù)，并且使用由紅外深度傳感器捕獲的紅外光來確定深度數(shù)據(jù)。所述終端還可以將深度數(shù)據(jù)和圖像數(shù)據(jù)傳達(dá)到遠(yuǎn)程的遙現(xiàn)終端，并接收遠(yuǎn)程圖像數(shù)據(jù)和遠(yuǎn)程深度數(shù)據(jù)。所述終端還可以基于能夠從第一觀看位置觀看的遠(yuǎn)程圖像數(shù)據(jù)使用透鏡顯示器生成第一顯示圖像，并且基于能夠從第二觀看位置看到的遠(yuǎn)程圖像數(shù)據(jù)和遠(yuǎn)程深度數(shù)據(jù)使用透鏡顯示器生成第二顯示圖像。

相關(guān)申請的交叉引用

本申請要求在2016年9月9日提交的名稱為 THREE-DIMENSIONAL TELEPRESENCESYSTEM(三維遙現(xiàn)系統(tǒng)) 的美國臨時申請No.62/385,685的優(yōu)先權(quán)，其全部內(nèi)容通過引用合并于此。

背景技術(shù)

諸如視頻會議系統(tǒng)之類的會議系統(tǒng)被用于各種設(shè)置中，以便為參與者提供進(jìn)行虛擬會議而無需共處的機會。例如，視頻會議系統(tǒng)可以提供顯示器、通信鏈路、揚聲器和麥克風(fēng)，它們允許參與者查看遠(yuǎn)程參與者并與之通信。因為參與者可以在他們說話時看到彼此，所以視頻會議系統(tǒng)可以提供比單獨的書面或口頭交流更好的對于所討論的主題的理解。這樣的視頻會議系統(tǒng)還可以提供更容易的會議安排，因為并非所有參與者都需要共處。此外，視頻會議系統(tǒng)可以通過消除旅行的需要來減少資源(例如，時間和金錢)浪費。傳統(tǒng)的視頻會議系統(tǒng)通常包括通信系統(tǒng)(例如，電話或VoIP系統(tǒng)等)、標(biāo)準(zhǔn)視頻監(jiān)視器(例如，CRT、等離子、HD、LED或LCD顯示器)、相機、麥克風(fēng)和揚聲器。

發(fā)明內(nèi)容

以下公開的實施方式涉及視頻會議和遙現(xiàn)系統(tǒng)。至少一些實施方式提供三維遙現(xiàn)，而不使用頭戴式顯示器、耳機和/或任何其他類型的物理累贅。

在一個方面，一種遙現(xiàn)終端包括顯示器，該顯示器具有設(shè)置在像素網(wǎng)格前面的微透鏡陣列。所述終端還可以包括圖像傳感器、紅外發(fā)射器和紅外深度傳感器。所述終端還可以包括處理設(shè)備和存儲指令的存儲器。所述指令在被執(zhí)行時可以使處理設(shè)備執(zhí)行操作，所述操作包括：基于由圖像傳感器捕獲的可見光確定圖像數(shù)據(jù)，并且基于由紅外發(fā)射器發(fā)出并由紅外深度傳感器捕獲的紅外光確定深度數(shù)據(jù)。所述操作還可以包括將深度數(shù)據(jù)和圖像數(shù)據(jù)傳達(dá)到遠(yuǎn)程的遙現(xiàn)終端，并接收遠(yuǎn)程圖像數(shù)據(jù)和遠(yuǎn)程深度數(shù)據(jù)，所述遠(yuǎn)程圖像數(shù)據(jù)和遠(yuǎn)程深度數(shù)據(jù)源自遠(yuǎn)程的遙現(xiàn)終端。所述操作還可以包括：使用可從第一觀看位置通過微透鏡陣列觀看的像素網(wǎng)格的第一像素子集基于遠(yuǎn)程圖像數(shù)據(jù)生成第一顯示圖像；并且，使用可從第二觀看位置通過微透鏡陣列觀看的像素網(wǎng)格的第二像素子集基于遠(yuǎn)程圖像數(shù)據(jù)和遠(yuǎn)程深度數(shù)據(jù)生成第二顯示圖像。

在一些實施方式中，可以生成第一顯示圖像和第二顯示圖像以具有基于所接收的深度數(shù)據(jù)來模擬視差的差異。在這方面，所述指令還可以使處理設(shè)備執(zhí)行包括確定遙現(xiàn)終端的用戶的位置的操作。可以例如基于深度數(shù)據(jù)和/或基于圖像數(shù)據(jù)來確定遙現(xiàn)終端的用戶的位置。例如，可以生成第一顯示圖像和第二顯示圖像以具有基于所確定的用戶位置來模擬視差的差異。

在一些實施方式中，所述指令還可以使處理設(shè)備執(zhí)行操作，所述操作包括：使用遠(yuǎn)程圖像數(shù)據(jù)和遠(yuǎn)程深度數(shù)據(jù)以及遙現(xiàn)終端的用戶的確定的位置在顯示器上生成三維立體圖像。

在可以與上述實施方式組合的一些實施方式中，所述指令還可以使處理設(shè)備執(zhí)行包括在第一方向上生成第一顯示圖像的第一部分并且在第二方向上生成第二顯示圖像的第二部分的操作。例如，微透鏡陣列中的微透鏡可以被配置為跨一個或多個角度發(fā)出光和/或在一個或多個不同方向上顯示不同的像素值。可以基于第一位置確定第一方向，并且可以基于第二位置確定第二方向。

在一些實施方式中，所述指令還可以使處理設(shè)備執(zhí)行包括基于飛行時間方法確定深度數(shù)據(jù)的操作，該飛行時間方法測量在由紅外發(fā)射器發(fā)出的第一紅外光和在所發(fā)出的第一紅外光的路徑中的對象反射并由紅外深度傳感器捕獲的第二紅外光之間的相位偏移。