[發明專利]基于通信的增強現實中實時圖像和信號處理方法和系統

在審

• 申請號: 201780018386.0
• 申請日: 2017-04-05
• 公開（公告）號: CN109074680A
• 公開（公告）日: 2018-12-21
• 發明（設計）人: 伊麗莎·Y·杜
• 申請（專利權）人: 英特吉姆公司股份有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00
• 代理公司: 上海晨皓知識產權代理事務所(普通合伙) 31260
• 代理人: 成麗杰

本申請文件公開了增強現實環境中實時圖像和信號處理的方法和系統，例如，視頻會議參與者所選擇的虛擬環境中的視頻會議。特別地，通過在一個或多個圖像中將真實生活對象與其實際環境分離來提取真實生活對象的圖像信息，所述一個或多個圖像是使用基于特性的綜合機制實時捕獲的。然后，通過逐像素集成的方法，根據真實生活對象的圖像信息的每個像素和虛擬環境的多個圖像的每個圖像的對應像素之間的圖像關系，將提取的真實生活對象集成到虛擬環境中。所述圖像關系至少包括深度關系或透明度關系。

交叉引用

本申請要求申請號為62/317554，提交于2016年4月4日，發明名稱為“基于增強現實的通信的實時圖像和信號處理系統”的美國臨時專利申請，和申請號為62/322358，提交于2016年4月14日，發明名稱為“使用基于增強現實的通信的實時沉浸式廣告系統”的美國臨時專利申請的優先權，二者在本申請文件中被整體引用。

技術領域

本發明主要涉及用于基于增強現實(AR)系統的通信的圖像和信號處理的系統、設備和方法。

背景技術

基于AR的實時通信系統或方法是已知的。例如，蘋果Apple Photobooth^TM允許用戶在虛擬環境中創建他們自己的照片或視頻(Photobooth是蘋果電腦公司開發的運行在MacOS或iOS上的一個小型應用程序，主要功能是通過攝像頭iSight進行數碼拍照)。有時，虛擬環境可以是一個移動環境。谷歌Google Hangout^TM是一個音頻和視頻會議平臺，它允許用戶在視頻會議會話中選擇所需的個性化場景，并允許用戶佩戴帽子、眼鏡和胡須等可更換的虛擬物品。然而，從視覺的角度來看，這樣的現有系統是粗略、原始的。在真實生活對象(Google Hangout^TM的用戶)與虛擬物品(例如，虛擬背景和可穿戴裝飾物品)的交接處，往往存在明顯且有時非常顯著的缺口和瑕疵。在虛擬環境包括運動元素的情況下，這些缺陷更加明顯。

在某些情況下，專業攝影師或電影制作人使用綠幕拍攝初始圖像或視頻，以盡量減少缺陷。后期需要進行大量的編輯，以將單調的背景替換為虛擬環境。這是一個非常耗時又昂貴的過程。在視頻會議(如Google Hangout^TM)中，使用不同語言的人也會陷入困惑，并導致溝通無效。

本領域所需要的是用于實時處理基于AR的通信的圖像和其他信號(如音頻信號)的改進的系統和方法。

發明內容

本申請文件公開了用于基于增強現實(AR)系統的通信的圖像和信號處理的系統、設備和方法的方法和系統。

一方面，本申請文件公開了一種將真實生活對象與虛擬環境集成的方法。該方法包括以下步驟：在計算機設備實時地提供真實生活對象的多維圖像信息，其中通過在實時捕獲的一個或多個圖像中將真實生活對象從其實際環境中分離來提取圖像信息，所述一個或多個圖像是使用基于特性的綜合機制來捕獲的；在計算機設備上實時地接收由多個圖像構建的虛擬環境的選擇；在計算機設備上實時地提供真實生活對象的圖像信息的每個像素與虛擬環境的多個圖像的每個圖像的對應像素之間的圖像關系，其中圖像關系至少包括深度關系或透明度關系；并且在計算機設備上實時地呈現多個集成圖像，其中集成圖像中的每個像素被劃分為多個層，并且基于圖像關系使用真實生活對象的圖像信息中的對應像素和虛擬環境的多個圖像中的每個圖像來確定每個層。

在一些實施例中，所述方法步驟發生在用戶設備或服務器或任何計算機設備上。

在一些實施例中，該方法還包括相同的計算機設備或另一不同計算機設備實時地從實際環境中的真實生活對象的一個或多個圖像中提取真實生活對象的多維圖像信息的步驟。