[發明專利]用于重新聚焦至少一個全景視頻的方法和設備

有效

• 申請號: 201680074096.3
• 申請日: 2016-12-08
• 公開（公告）號: CN108369730B
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 皮埃爾·赫利爾;瓦萊麗·艾莉;帕特里克·佩雷斯
• 申請（專利權）人: 交互數字CE專利控股公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50
• 代理公司: 北京東方億思知識產權代理有限責任公司 11258
• 代理人: 林強

一種用于將對由屬于同時捕獲同一場景的一組全景設備的一個全景設備提供的一組全景視頻數據的渲染重新聚焦在至少一個感興趣的公共點上的方法。根據本公開，所述方法包括：獲取(21)公共3D參考系統，該公共3D參考系統用于在空間上定位提供了所述一組全景視頻數據的所述全景設備以及所述一組全景設備中的至少一個其他設備，從所述至少一個感興趣的公共點，確定(22)所述公共3D參考系統中的公共重新聚焦平面參數，通過將所述公共重新聚焦平面參數轉換(231)成與所述全景設備相關聯的3D參考系統的渲染重新聚焦平面，來重新聚焦(23)對所述一組全景視頻數據的渲染。

技術領域

本公開涉及光場成像，并且涉及用于獲取和處理光場數據的技術。更具體地，本公開總體涉及用于重新聚焦屬于捕獲同一場景的多個全景設備的至少一個全景設備，并且在社交媒體應用的領域中得以應用。

背景技術

本節旨在向讀者介紹本領域的各個方面，這些方面可能與以下所描述和/或要求保護的本發明的各個方面有關。相信該討論可以幫助向讀者提供背景信息以促進對本發明的各個方面的更好的理解。因此，應理解的是，這些陳述將從這個角度來閱讀，并且不被承認是現有技術。

傳統圖像捕獲設備將三維場景渲染到二維傳感器上。在操作期間，傳統圖像捕獲設備捕獲代表到達設備內的光傳感器(或光檢測器)的光量的二維(2-D)圖像。然而，該2-D圖像并不包含關于到達光電傳感器的光線的方向分布(定義了光場)的信息。例如，深度在獲取過程中會丟失。因此，傳統捕獲設備不存儲關于來自場景的方向光分布的大部分信息。

已經設計了光場捕獲設備(也稱為“光場數據獲取設備”)以通過捕獲來自該場景的不同視點的光來測量場景的四維(4D)光場。因此，通過測量沿著與光電傳感器相交的每個光束傳播的光量，這些設備可以捕獲額外的光學信息(關于光線束的方向分布的信息)，以通過后處理來提供新的成像應用。由光場捕獲設備獲取/獲得的信息被稱為光場數據。光場捕獲設備在本文中被定義為能夠捕獲光場數據的任何設備。存在若干類型的光場捕獲設備，其中：

-如文件US2013/0222633所述的全景設備，該全景設備使用放置在圖像傳感器和主透鏡之間的微透鏡陣列；

-相機陣列，其中，每個相機在其自己的圖像傳感器上成像。

還可以利用計算機成像(CGI)來根據場景的一系列2-D圖像(當利用不同的視點捕獲表示同一場景的兩個不同圖像時，稱為視圖)模擬光場數據，其中每個2-D圖像是通過使用傳統手持相機從不同視點進行拍攝的。

光場數據處理尤其包括但不限于：生成場景的重新聚焦圖像、生成場景的透視圖、生成場景的深度圖、生成擴展景深(EDOF)圖像、生成立體圖像、和/或這些項的任何組合。

本公開更精確地關注于由如圖1所示并且由R.Ng等人在《斯坦福大學計算機科學技術報告》，CSTR 2005-02，第11期(2005年4月)，“Light field photography with ahand-held plenoptic camera(利用手持全景相機的光場拍攝)”中公開的全景設備捕獲的基于光場的圖像。

這種全景設備由主透鏡(11)、微透鏡陣列(12)和光傳感器(13)組成。更確切地，主透鏡將物體聚焦到微透鏡陣列上(或附近)。微透鏡陣列(12)將會聚光線分離成其后面的光傳感器(13)上的圖像。

如US20130222369所述，用于豐富由多個用戶提供的視頻拍攝體驗的現有技術方法在于由多個用戶中的一個用戶例如通過收集用戶反饋來手動選擇感興趣的點。

然后，根據現有技術，每個用戶通過他們自己的設備來手動選擇相應的感興趣的點，并且焦點在計算上位于與穿過該對象的每個設備的光軸垂直的平面上。

然而，現有技術的這些方法不能考慮光場成像(也稱為全景數據)的特殊性，光場成像記錄了空間中的一些點或一些方向上的光量(“輻射率”)。實際上，這種傳統視頻捕獲設備提供傳統的成像格式。