[發(fā)明專利]遠(yuǎn)程呈現(xiàn)設(shè)備操作方法

在審

• 申請?zhí)枺?/td>: 201980026277.2
• 申請日: 2019-04-02
• 公開（公告）號: CN111989914A
• 公開（公告）日: 2020-11-24
• 發(fā)明（設(shè)計）人: R·G·卡特勒
• 申請（專利權(quán)）人: 微軟技術(shù)許可有限責(zé)任公司
• 主分類號: H04N7/14
• 分類號: H04N7/14
• 代理公司: 永新專利商標(biāo)代理有限公司 72002
• 代理人: 趙騰飛

公開了一種操作遠(yuǎn)程呈現(xiàn)設(shè)備的方法，該方法包括：使用多個相機(jī)捕獲本地主體的圖像以生成多個本地捕獲圖像。從遠(yuǎn)程設(shè)備接收遠(yuǎn)程主體視點(POV)數(shù)據(jù)?；谶h(yuǎn)程主體POV數(shù)據(jù)，從所述多個本地捕獲圖像中選擇多個圖塊。將本地圖像數(shù)據(jù)發(fā)送到遠(yuǎn)程設(shè)備。本地圖像數(shù)據(jù)包括所述多個選擇的圖塊。

背景技術(shù)

視頻會議技術(shù)已經(jīng)變得越來越普遍。這些技術(shù)現(xiàn)在已在全球范圍內(nèi)用于各種各樣的個人和企業(yè)通信。例如，在電話會議或其它視頻會議期間，個人可以通過數(shù)碼相機(jī)捕獲并發(fā)送給參與者的圖像和聲音來進(jìn)行“交互”和參加面對面的對話。為了提供更具吸引力的視頻會議體驗，已引入了一套稱為“遠(yuǎn)程呈現(xiàn)(telepresence)”的技術(shù)，其目的是使位于不同地理位置的參與者感覺好像他們在同一位置。遠(yuǎn)程呈現(xiàn)對常規(guī)的視頻會議方案提供了一定的增強，但是仍然存在大量的領(lǐng)域需要新的和改進(jìn)的思想以提供更沉浸式(immersive)的視頻會議體驗。

發(fā)明內(nèi)容

在一個總體方面，本申請描述了一種操作遠(yuǎn)程呈現(xiàn)設(shè)備的方法。該方法包括：使用多個相機(jī)捕獲本地主體的圖像，以生成多個本地捕獲圖像；從遠(yuǎn)程設(shè)備接收遠(yuǎn)程主體視點(POV)數(shù)據(jù)；基于所述遠(yuǎn)程主體POV數(shù)據(jù)，從所述多個本地捕獲圖像中選擇多個圖塊(tile)；向所述遠(yuǎn)程設(shè)備發(fā)送本地圖像數(shù)據(jù)，所述本地圖像數(shù)據(jù)包括所述多個選擇的圖塊。

在另一種實現(xiàn)中，一種操作遠(yuǎn)程呈現(xiàn)設(shè)備的方法，包括：使用多個相機(jī)捕獲本地主體的圖像，以生成多個本地捕獲圖像；處理所述多個本地捕獲圖像以生成本地主體視點(POV)數(shù)據(jù)；向遠(yuǎn)程設(shè)備發(fā)送本地主體視點(POV)數(shù)據(jù)；從所述遠(yuǎn)程設(shè)備接收遠(yuǎn)程圖像數(shù)據(jù)，所述遠(yuǎn)程圖像數(shù)據(jù)包括所述遠(yuǎn)程設(shè)備基于所述本地主體POV數(shù)據(jù)選擇的多個第一圖塊；基于所述本地主體POV數(shù)據(jù)，從所述多個第一圖塊中選擇多個第二圖塊；在顯示器上，顯示基于所述多個第二圖塊合成的所述遠(yuǎn)程主體的所述圖像。

在另一種實現(xiàn)中，一種操作遠(yuǎn)程呈現(xiàn)設(shè)備的方法，包括：使用第一遠(yuǎn)程呈現(xiàn)設(shè)備的多個第一相機(jī)，捕獲位于第一位置的第一主體的圖像，以生成所述第一主體的多個第一捕獲圖像；使用第二遠(yuǎn)程呈現(xiàn)設(shè)備的多個第二相機(jī)，捕獲位于第二位置的第二主體的圖像，以生成所述第二主體的多個第二捕獲圖像；在所述第一遠(yuǎn)程呈現(xiàn)設(shè)備處，處理所述多個第一捕獲圖像，以生成第一主體視點(POV)數(shù)據(jù)；在所述第二遠(yuǎn)程呈現(xiàn)設(shè)備處，處理所述多個第二捕獲圖像，以生成第二主體POV數(shù)據(jù)；從所述第一遠(yuǎn)程呈現(xiàn)設(shè)備向所述第二遠(yuǎn)程呈現(xiàn)設(shè)備發(fā)送所述第一主體POV數(shù)據(jù)；從所述第二遠(yuǎn)程呈現(xiàn)設(shè)備向所述第一遠(yuǎn)程呈現(xiàn)設(shè)備發(fā)送所述第二主體POV數(shù)據(jù)；在所述第一遠(yuǎn)程呈現(xiàn)設(shè)備處，基于所述第二主體POV數(shù)據(jù)，從所述多個第一捕獲圖像中選擇多個第一圖塊；從所述第一遠(yuǎn)程呈現(xiàn)設(shè)備向所述第二遠(yuǎn)程呈現(xiàn)設(shè)備發(fā)送第一圖像數(shù)據(jù)，其中所述第一圖像數(shù)據(jù)包括所述多個第一圖塊；從所述第二遠(yuǎn)程呈現(xiàn)設(shè)備向所述第一遠(yuǎn)程呈現(xiàn)設(shè)備發(fā)送第二圖像數(shù)據(jù)，其中所述第二圖像數(shù)據(jù)包括所述多個第二圖塊；在所述第一遠(yuǎn)程呈現(xiàn)設(shè)備處，基于所述第一主體POV數(shù)據(jù)，從所述多個第二圖塊中選擇多個第三圖塊；在所述第一遠(yuǎn)程呈現(xiàn)設(shè)備的第一顯示器上，顯示基于所述多個第三圖塊合成的所述第二主體的圖像。

在另一種實現(xiàn)中，一種方法包括以下步驟：使用多個相機(jī)捕獲本地主體的圖像以生成多個本地捕獲圖像；從遠(yuǎn)程設(shè)備接收遠(yuǎn)程主體視點(POV)數(shù)據(jù)；基于所述遠(yuǎn)程主體POV數(shù)據(jù)，從所述多個本地捕獲圖像中選擇多個第一圖塊；向所述遠(yuǎn)程設(shè)備發(fā)送本地圖像數(shù)據(jù)，所述本地圖像數(shù)據(jù)包括所述多個選擇的第一圖塊。

在另一種實現(xiàn)中，一種方法包括：使用多個相機(jī)捕獲本地主體的圖像以生成本地捕獲圖像；從所述本地捕獲圖像中選擇多個圖塊；將所述多個選擇的圖塊轉(zhuǎn)換為本地主體圖像數(shù)據(jù)，遠(yuǎn)程設(shè)備可使用所述本地主體圖像數(shù)據(jù)以渲染(render)和顯示所述本地主體的視覺表示，其中所述本地主體圖像數(shù)據(jù)包括所述遠(yuǎn)程設(shè)備可用以維持遠(yuǎn)程設(shè)備用戶和所述本地主體的所述3D視覺表示之間的眼睛注視(eye gazing)的本地主體視點(POV)數(shù)據(jù)。