[發明專利]從以增強現實元素為特征的多源設備提供實時復合視頻的系統和方法

有效

• 申請號: 201780054070.7
• 申請日: 2017-08-31
• 公開（公告）號: CN110050461B
• 公開（公告）日: 2020-12-01
• 發明（設計）人: 羅素·霍姆斯
• 申請（專利權）人: 羅素·霍姆斯
• 主分類號: H04N7/15
• 分類號: H04N7/15;H04M3/56;G06T11/60
• 代理公司: 北京天昊聯合知識產權代理有限公司 11112
• 代理人: 張娜;顧麗波

用于疊加由計算設備(20)生成的視頻的人類元素的系統和方法，其中第一用戶設備和第二用戶設備捕獲視頻并將視頻發送到中央服務器(30)，中央服務器(30)分析視頻以鑒別和提取人類元素(216、218)，將這些人類元素彼此疊加，添加至少一個增強現實元素(410)，然后將新創建的疊加視頻發送回到用戶設備中的至少一個。

背景技術

本主題總的來說涉及電話會議系統(teleconferencing system)。更具體地，本發明涉及在以增強現實元素為特征的虛擬交互中模擬用戶的相互物理存在的電話會議系統。

幾乎任何距離的電話會議或視頻交互都是本質上沒有人情味的體驗。最近技術中的許多發展已經旨在解決人們錯失人類交互方面(只聽到某人的聲音而不提供人類交互)的問題。從電話會議到Facetime和Snapchat，視頻通話和消息的使用極大地增強了遠距離通信，但這些創新并非沒有它們的缺點。諸如Snapchat和Facebook等公司已經開發了增強現實面部濾鏡、鏡頭等，從而為標準視頻消息、聊天或通話創建另一更有趣的維度。

現有的視頻通話技術不允許用戶感覺好像他們離被叫人很近。雖然用戶可能能夠通過Facetime等看到同事或所愛的人，或者與同事或所愛的人交談，但很明顯這種技術的用戶都在不同的位置。此外，當前的視頻通話和聊天不會將增強現實并入此類通話或聊天中，從而錯失了樂趣和興奮的機會。

因此，需要一種視頻通信系統，其在以增強現實元素為特征的虛擬交互中模擬用戶的相互物理存在。

發明內容

為了滿足上述和其它的需要，在一個實施例中，本文提供的主題體現在視頻通話應用程序中，該視頻通話應用程序向用戶提供兩者都存在于單個物理位置中的錯覺。具體地，該實施例向用戶呈現能夠伸出并觸摸與他們正在交談的人的視覺體驗。通過允許用戶進行視頻通話的應用程序來提供該體驗，其中另外的好處是能夠將來自其他一個或多個用戶設備的攝像頭的視頻疊加到在各用戶設備的屏幕中的每一個上顯示的視頻上。這可以用于在同一屏幕上提供所有呼叫者的實時視頻圖像，模擬在通話中涉及的每個人在物理上彼此存在。

本發明使用移動設備的一個或多個后置和/或前置攝像頭鑒別人類元素。后置攝像頭旨在用于捕獲人類元素(諸如手、手和手臂)的實時視頻饋送。移動設備使用檢測/識別算法以鑒別在終端用戶設備(例如智能手機、平板電腦、個人計算機等)的一個或多個后置和/或前置攝像頭的視野中捕獲的這些人類元素。

在一個示例中，第一用戶可以在視頻通話期間到達移動設備后面，同時仍然能夠查看他們的移動設備的前顯示屏幕。他們的移動設備的前顯示屏幕會顯示疊加的實時視頻，疊加的實時視頻包含與來自第二用戶的設備的實時視頻疊加的人類元素。產生的疊加視頻包含來自每個用戶的重疊的人類元素，給出了用戶之間物理交互的視覺印象。

實現此功能的應用程序可以是獨立的，也可以集成到其他視頻通話應用程序中。該應用程序可以在移動設備(例如，智能手機、平板電腦等)和個人計算機(例如，臺式計算機、平板電腦等)上運行。

應用程序可以實現疊加視頻效果的另一種方式是通過使用智能手機或平板電腦的多個攝像頭。大多數移動設備有兩個攝像頭，一個在設備的正面，一個在設備的背面。一些較新的設備(例如，iPhone7)除了一個或多個前置攝像頭之外，包括在設備的背面上的多個攝像頭。在第二示例中，應用程序可以允許用戶設備上的多個攝像頭同時是主動(或活動)的(active)，其中系統對由設備攝像頭捕獲的視頻的人類元素(例如，面部、身體、手等)進行疊加以給出物理上交互的錯覺。