[發明專利]用于圖像捕獲和處理的方法、系統和介質

有效

• 申請號: 201780044547.3
• 申請日: 2017-07-07
• 公開（公告）號: CN109479114B
• 公開（公告）日: 2021-03-23
• 發明（設計）人: R·J·莫塔;G·L·馮德蘭;M·B·斯里坎斯;B·D·米勒
• 申請（專利權）人: 蘋果公司
• 主分類號: H04N7/14
• 分類號: H04N7/14;H04N7/18
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 吳信剛

本公開涉及為沉浸式增強現實、實況顯示墻、頭戴式顯示器、視頻會議和類似應用，基于觀看者的視點(POV)來使用相機陣列捕獲場景圖像并處理所捕獲圖像的操作、系統和計算機可讀介質。在一個具體實施中，公開的主題通過組合由相機陣列捕獲的圖像向觀看者提供完整視圖。在另一具體實施中，公開的主題在觀看者從一個位置移動到另一個位置時跟蹤觀看者的POV，并根據其變化的POV顯示圖像。觀看者POV的變化包括在X、Y和Z維度上的移動。

相關申請的交叉引用

本申請依據35U.S.C.§119(e)要求2017年5月5日提交的美國繼續申請 No.15/588,228；2016年9月23日提交的，現在發布為美國專利9,681,096的美國非臨時申請No.15/275,074；以及2016年7月18日提交的美國臨時申請 No.62/363,681的優先權，其內容據此全文以引用方式并入本文。

背景技術

近年來，沉浸式增強現實、顯示墻、頭戴式顯示器和視頻會議的使用有所增加。例如，視頻會議是在兩方或更多方之間進行的在線會議，其中每一方都可以聽到其他方的語音并看到圖像。在兩方之間的視頻會議中，每一方都通過每處地點的終端，例如臺式計算機系統、平板電腦系統、電視屏幕、顯示墻或智能電話參與會議。終端通常包括麥克風以捕獲音頻，網絡攝像頭以捕獲圖像，一組硬件和/或軟件以處理捕獲的音頻和視頻信號，網絡連接以在各方之間傳輸數據，揚聲器以播放語音，以及顯示器以顯示圖像。在這種傳統的設置中，觀看者只能看到其相對方及其場景的固定視點。具體地講，觀看者只能看到由相對方的網絡攝像頭捕獲的內容。此外，當觀看者在會議期間從一個位置移動到另一個位置時，他的視點 (POV)可能會發生變化。然而，由于相對方地點處圖像捕獲的限制，觀看者始終僅能從相同視點觀看圖像。

發明內容

本公開描述了一種技術，該技術涉及并可以用于為沉浸式增強現實、實況顯示墻、頭戴式顯示器和視頻會議應用進行圖像捕獲和處理。在一個實施方案中，公開的主題通過組合由相機陣列捕獲的圖像向觀看者提供完整視圖。在另一個實施方案中，公開的主題在觀看者從一個位置移動到另一個位置時跟蹤觀看者的視點(POV)，并根據其變化的POV顯示圖像。觀 看者POV的變化包括例如在X、Y和Z維度上的移動。