[發(fā)明專利]呈現(xiàn)相機

有效

• 申請?zhí)枺?/td>: 201680056044.3
• 申請日: 2016-09-30
• 公開（公告）號: CN108141578B
• 公開（公告）日: 2022-04-05
• 發(fā)明（設計）人: 杰瓦特·耶爾利
• 申請（專利權）人: 明日基金知識產權控股有限公司
• 主分類號: H04N13/111
• 分類號: H04N13/111;H04N13/194;H04N13/239;H04N13/344;H04N21/218;H04N21/6587
• 代理公司: 上海華誠知識產權代理有限公司 31300
• 代理人: 徐穎聰

公開了一種裝置，該裝置包括媒體接口，被配置為提供多個媒體流，使用至少一個相機陣列中的相機來捕獲每個媒體流；輸入接口，被配置為接收與輸出裝置相關聯(lián)的裝置位置；和處理器，被配置為從所述多個媒體流生成適應裝置位置的輸出流。

技術領域

本公開涉及媒體流的生成，其考慮到與輸出裝置有關的觀看參數(shù)。特別地，本發(fā)明可以涉及包括相機陣列和用于渲染這種媒體流的個別輸出裝置的相機裝置。

背景技術

相機通常允許捕獲具有或不具有音頻數(shù)據的視頻數(shù)據，該視頻數(shù)據隨后可以被顯示在各自輸出裝置上。例如，攝像機可以捕獲場景的視頻，該場景可以被呈現(xiàn)在顯示器或屏幕上，諸如在電視機上。然而，這種捕獲的媒體通常以線性的方式被呈現(xiàn)給用戶，并且不允許為該用戶對已顯示的媒體做進一步調整。

為了提供更加沉浸式的體驗，已經提出了提供甚至接近360°的大觀看角度的相機系統(tǒng)。對于錄制的影片，可以根據期望的方向或觀看者正在觀看的方向來選擇錄制的像素的子集，并且可以將所選擇的子集扭曲為可用于用戶的輸出裝置的正確的顯示圖像。因此，體驗該錄制的影片的用戶可以朝各個方向看，這直接影響所顯示的內容。

提供錄制內容的更加沉浸式的體驗的其他方法涉及分別為觀看者的雙眼提供媒體流的立體相機系統(tǒng)，以便能夠感知縱深并估計錄制場景內的對象的距離。然而，錄制媒體的呈現(xiàn)和對真實世界的感知之間仍然存在差異。

因此，本公開的一個目的是能夠生成和呈現(xiàn)更類似真實世界的感知的所捕獲的媒體。

發(fā)明內容

上述問題通過根據獨立權利要求的裝置，相機裝置，輸出裝置和方法來解決。優(yōu)選實施例在從屬權利要求中限定。

根據本公開的一個方面，一種裝置包括，媒體接口，被配置為提供多個媒體流，使用至少一個相機陣列中的相機來捕獲每個媒體流；輸入接口，被配置為接收與輸出裝置相關聯(lián)的觀看位置；和處理器，被配置為從該多個媒體流生成適應該觀看位置的輸出流。

可以是本地裝置或遠程裝置的，諸如服務器的媒體裝置，使用多個媒體流來生成輸出流，以便反映與輸出裝置相關聯(lián)的當前觀看位置，該當前觀看位置可以由操作輸出裝置的用戶或觀看者明確地或隱含地設置。例如，用戶可以移動自己和/或輸出裝置，并且輸出流會適應該運動，使得運動視差被反映在輸出流中。觀看位置可以對應于裝置位置。然而，觀看位置也可以反映用戶的位置、用戶的頭部的位置或用戶的眼睛的位置。觀看位置也可以基于用戶相對于裝置的位置來確定。

人類和動物主動地使用運動視差，在運動視差中，移動頭部來獲得略微不同的視點，以便估計場景中物體的距離和深度。例如，當觀看者移動時，觀看前景物體并移動其頭部的人會體驗到前景物體的位置相對于背景偏移。即使在毫米級的非常小的頭部位移的情況下，也可以清楚地注意到運動視差效應。要保持人的頭部非常靜止、運動視差效應完全消失是困難的。運動視差效應通常被人類和動物的視覺感知系統(tǒng)用作重建三維環(huán)境的進一步的信息源。因此，通過使輸出流連續(xù)地適應當前觀看位置，能夠實現(xiàn)媒體的更加沉浸式的體驗。

多個媒體流由至少一個相機陣列的多個相機捕獲。相機可以間隔開，使得它們可以從生成當前裝置位置的輸出流期間可以考慮的不同視點捕獲場景。本領域的技術人員將理解，這不能通過單個相機來實現(xiàn)，即使該單個相機具有非常大的觀看角度，因為這樣的單個相機不能提供來自不同視點的媒體流，而這些不同視點則是反映觀看位置的變化所需要的。由單臺相機捕獲的媒體可能只允許相對于觀看朝向進行適應。根據本公開的媒體裝置能夠基于考慮到運動視差效應的觀看位置來生成捕獲場景的輸出流，并由此生成捕獲場景的逼真體驗。

媒體流可以包括具有或不具有音頻的捕獲的視頻數(shù)據。因此，相機陣列可以包括用于聲音獲取的元件，該元件可以被布置在相控陣列中，以便確定所錄制的聲音的空間起源。