[發明專利]生成裝置和生成方法以及再現裝置和再現方法

在審

• 申請號: 201780028106.4
• 申請日: 2017-04-28
• 公開（公告）號: CN109074628A
• 公開（公告）日: 2018-12-21
• 發明（設計）人: 泉伸明
• 申請（專利權）人: 索尼公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T19/00;H04N5/74;H04N21/2343
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 陳煒;王偉楠

本公開涉及生成裝置和生成方法以及再現裝置和再現方法，利用上述裝置和方法可以使使用全向圖像生成的所有視線方向上的顯示圖像的圖像質量接近相等。降分辨率單元使全向圖像的分辨率降低。透視投影單元將映射到三維模型的全向圖像投影到多個二維平面，從而生成多個圖像。本公開可以應用于例如下述生成裝置等，該生成裝置等用于根據在六個方向上拍攝的圖像生成全向圖像并且生成該全向圖像的低分辨率流和高分辨率流。

技術領域

本公開涉及生成裝置、生成方法、再現裝置以及再現方法。更具體地，本公開涉及用來使在所有視線方向上通過使用全向圖像而生成的顯示圖像的圖像質量接近均勻的生成裝置、生成方法、再現裝置以及再現方法。

背景技術

一種再現全向圖像的方法涉及將圖像映射到3D模型以進行透視投影，從而在觀看者的視線方向上的視野范圍內生成并顯示顯示圖像。全向圖像是通過將水平方向上的360度的周圍圖像和豎直方向上的180度的周圍圖像映射到3D模型上而獲得的。

該方法在生成顯示圖像時使用全向圖像的僅一部分。例如，在水平方向上的視角為90度的情況下，在水平方向上僅使用整個全向圖像的四分之一來生成顯示圖像。這以類似的方式適用于豎直方向。因此，用于生成顯示圖像的全向圖像的區域相對于整個全向圖像的比例較小。

然而，由于觀看者的視線方向是由該觀看者在再現時指定的，因此記錄裝置難以僅記錄整個全向圖像的將被用于生成顯示圖像的那部分。出于此原因，已經期望通過下述方式減小要從記錄裝置傳送至再現裝置的全向圖像數據量：將整個全向圖像記錄在記錄裝置上，并且允許再現裝置請求記錄裝置僅發送要被用于生成顯示圖像的圖像區域。

因此，已經提出了下述內容：將全向圖像劃分成多個區域，其中每個區域被轉成編碼流，以使得僅將期望的劃分區域的編碼流從記錄裝置傳送至再現裝置(例如，參見專利文獻1)。

還提出了下述內容：將低分辨率的整個全向圖像與高分辨率的全向圖像的被劃分的且部分交疊的區域分開編碼，并且將整個低分辨率全向圖像的編碼流和僅與觀看者的視線方向對應的高分辨率全向圖像的劃分區域的編碼流從記錄裝置傳送至再現裝置(例如，參見專利文獻2)。

在前述情況下，記錄裝置僅需要傳送高分辨率全向圖像的劃分區域之中用于生成顯示圖像的一個區域。與傳送高分辨率全向圖像的所有劃分區域的情況相比，這轉變為減少的傳送數據量。在使用除了與所傳送的編碼流對應的高分辨率全向圖像的劃分區域以外的劃分區域來生成顯示圖像的情況下，或者在觀看者的視線方向突然改變的情況下，也可以使用低分辨率全向圖像來生成顯示圖像。此外，在全向圖像被劃分為許多區域的情況下或者在跨越全向圖像的邊緣的區域被設定為劃分區域的一部分的情況下，可以增大用于生成顯示圖像的高分辨率全向圖像相對于整個全向圖像的比例。

引用列表

專利文獻

專利文獻1

JP 2001-298652A

專利文獻2

JP 2016-15705A

發明內容

技術問題

然而，在通過下述等距圓柱投影生成全向圖像的情況下，全向圖像的區域在球體上越接近極點(如地球儀的北極和南極)形狀就越失真，所述等距圓柱投影涉及將水平方向上的360度的周圍圖像和豎直方向上的180 度的周圍圖像映射到球體上。例如，全向圖像的矩形區域在被映射在球體上的極的附近時各自失真成扇形。

因此，高分辨率全向圖像中的相同形狀和相同大小的劃分區域在透視投影平面上的形狀或大小可以根據劃分區域在全向圖像中所處的位置而變化。因此，高分辨率全向圖像的劃分區域在顯示圖像中的比例可以根據實際的視線方向而不同。難以在所有視線方向上生成圖像質量都接近均勻的顯示圖像。