[發明專利]圖像處理裝置、圖像處理方法和圖像處理程序

在審

• 申請號: 201980053809.1
• 申請日: 2019-08-06
• 公開（公告）號: CN112567760A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 林悌二郎
• 申請（專利權）人: 索尼公司
• 主分類號: H04N21/44
• 分類號: H04N21/44;G02B27/02;G06F3/01;G09G5/00;H04N21/4728
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 杜誠;馬驍

根據本公開內容的圖像處理裝置(100)設置有：接收單元(131)，該接收單元(131)針對在圖像顯示單元(12)上顯示的寬視角圖像的指定區域中包括的局部圖像，接收從第一視角到第二視角的變化；圖像生成單元(132)，在接收單元已經接收到視角變化的情況下，該圖像生成單元(132)保持多個第一圖像中的至少一個第一圖像的顯示，所述第一圖像均具有與寬視角圖像的分辨率不同的第一分辨率并且在變為第二視角之前已經被解碼，以及在保持至少一個第一圖像在顯示單元上的顯示的同時對第二圖像執行解碼，所述第二圖像是在變為第二視角之后在顯示單元上顯示的并且具有與第一圖像的分辨率不同的第二分辨率的圖像。

技術領域

本公開內容涉及圖像處理裝置、圖像處理方法和圖像處理程序。更具體地，本公開內容涉及在縮放寬視角圖像時執行的圖像處理。

背景技術

隨著虛擬現實(VR)技術的普及，能夠進行360度全方位成像的球形攝像裝置得到了廣泛的應用。此外，作為用于球形內容(例如由球形攝像裝置捕獲的球形圖像和球形電影)的觀看環境，諸如頭戴式顯示器(HMD)的裝置已經開始普及。

這里，已經提出了各種技術來執行諸如球面內容和全景圖像之類的具有比顯示器上顯示的視角寬的視角的圖像的回放(在下文中統稱為“視角寬圖像”)。例如，存在下述已知技術：通過在接收到切換為要顯示的特定部分的指令時將回放側上存在的特定部分的信息呈現給用戶，直到該特定部分的回放數據已準備就緒，來減小由于緩沖而導致的回放延遲的影響(例如，專利文獻1)。此外，存在下述技術：在顯示具有相同內容的圖像時，通過首先顯示低分辨率數據然后響應于來自用戶的請求而顯示高分辨率數據來保持高響應(例如，專利文獻2)。此外，已知下述技術：以低的部件成本在水平方向和豎直方向上在寬視角圖像上滾動(例如，專利文獻3)。

引用列表

專利文獻

專利文獻1：JP 2003-304525 A

專利文獻2：JP 2005-223765 A

專利文獻3：JP 11-196369 A

發明內容

技術問題

然而，人們并不認為上述技術對于改進關于寬視角圖像的用戶體驗有效。例如，在執行切換或縮放時，在現有技術中，對于寬視角圖像在顯示器上顯示的位置，執行畫面顯示的切換，使得首先顯示低分辨率數據，然后顯示高分辨率數據(或者反之，首先顯示高分辨率數據，然后顯示低分辨率數據)。

這可能導致用戶反復經歷從低分辨率數據的模糊圖像到高分辨率數據的清晰圖像的切換。尤其是在佩戴HMD時，由于諸如VR病或視頻病等癥狀，此問題尤其嚴重。

鑒于此問題，本公開內容提出了能夠改進關于寬視角圖像的用戶體驗的圖像處理裝置、圖像處理方法和圖像處理程序。

問題的解決方案

為了解決上述問題，根據本公開內容的一個方面的圖像處理裝置具有：接收單元，其接收針對在顯示單元上顯示的寬視角圖像的指定區域中包括的局部圖像從第一視角到第二視角的變化；以及圖像生成單元，在接收單元已經接收到視角變化的情況下，該圖像生成單元保持多個第一圖像中的至少一個第一圖像的顯示，所述第一圖像均具有與寬視角圖像的分辨率不同的第一分辨率并且在變為第二視角之前已經被解碼，以及在保持至少一個第一圖像在顯示單元上的顯示的同時對第二圖像執行解碼，所述第二圖像是在變為第二視角之后在顯示單元上顯示的并且具有與第一圖像的分辨率不同的第二分辨率的圖像。

本發明的有益效果

根據本公開內容的圖像處理裝置、圖像處理方法和圖像處理程序，可以改進關于寬視角圖像的用戶體驗。應當注意的是，本文描述的效果不必受到限制，并且可以是本公開內容中描述的任何效果。

附圖說明