[發明專利]圖像處理裝置和圖像處理方法

在審

• 申請號: 201880091006.0
• 申請日: 2018-12-04
• 公開（公告）號: CN111837394A
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 松本潤一
• 申請（專利權）人: 索尼公司
• 主分類號: H04N19/52
• 分類號: H04N19/52;G06T3/00;G06T7/246;H04N5/232
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王萍;唐明英

由校正方法確定單元40和幀間預測單元42配置的運動矢量校正單元對使用魚眼透鏡捕獲的魚眼圖像中的當前預測塊的例如外圍塊的運動矢量執行縮放處理，縮放處理是基于例如魚眼透鏡投影方法和魚眼圖像的半徑的魚眼信息而執行的。在縮放處理中，在縮放之前將外圍塊的運動矢量轉換為沒有魚眼失真的圖像中的運動矢量，并且將縮放之后的運動矢量轉換為魚眼圖像中的運動矢量。通過縮放處理減小了當前預測塊的運動矢量與預測運動矢量之間的任意差異，從而使得可以提高對魚眼圖像進行編碼的效率。

技術領域

本技術涉及圖像處理裝置和圖像處理方法。

背景技術

在對通過使用魚眼透鏡進行拍攝而獲得的魚眼圖像的編碼/解碼處理中，編碼/解碼處理可以與通過使用例如視場角比魚眼透鏡的視場角窄的普通透鏡進行拍攝而獲得的圖像(普通圖像(normal image))類似地來實現。然而，魚眼圖像包括魚眼失真，即隨著物體沿中心方向遠離中心而增大的失真。因此，例如在執行幀間預測的情況下，與普通圖像相比，編碼效率劣化。因此，在PTL1中，通過校正信息生成器對魚眼圖像的失真進行校正，并且然后與普通圖像類似地來檢測運動矢量。

引用列表

專利文獻

PTL 1：JP 2017-120980A

發明內容

技術問題

其中，由PTL 1中的校正信息生成器執行的失真校正處理沒有考慮透鏡獨有的特性式(characteristic formula)。因此，在一些情況下，在失真校正方面產生誤差。另外，由于失真校正的誤差，可能增加運動矢量的誤差。在視場角為例如180°的情況下，當將魚眼圖像校正為普通圖像時，誤差被擴展到無窮大。因此，當將魚眼圖像中的預定范圍變換為普通圖像以進行編碼時，在解碼時沒有獲得除該預定范圍以外的圖像，從而使得魚眼圖像不能再現。

因此，本技術的目的是提供一種能夠以高編碼效率執行魚眼圖像的編碼處理或解碼處理的圖像處理裝置。

問題的解決方案

本技術的第一方面是一種圖像處理裝置，該圖像處理裝置包括運動矢量校正單元，該運動矢量校正單元基于關于魚眼透鏡和使用魚眼透鏡拍攝的魚眼圖像的魚眼信息，對魚眼圖像中的用于計算當前預測塊的預測運動矢量的運動矢量執行縮放處理。

在本技術中，運動矢量校正單元基于例如魚眼透鏡的投影方法和使用魚眼透鏡拍攝的魚眼圖像的半徑的魚眼信息，對例如魚眼圖像中的當前預測塊的外圍塊的運動矢量執行縮放處理，并且使用外圍塊(peripheral block)的縮放處理之后的運動矢量來計算預測運動矢量。在縮放處理中，例如通過使用對根據距魚眼透鏡的中心的距離和魚眼圖像的半徑而變化的魚眼失真進行校正的校正因子，將魚眼圖像中的外圍塊的運動矢量變換為沒有魚眼失真的圖像中的運動矢量來執行縮放，并且將縮放之后的運動矢量變換為魚眼圖像中的運動矢量。校正因子是基于魚眼透鏡的投影方法的特性式和用于獲得沒有魚眼失真的圖像的中心投影方法的特性式而計算的。針對魚眼透鏡的每種投影方法，預先將計算出的校正因子標準化為表以進行保持，并且使用保持的校正因子表中的與用于拍攝的魚眼透鏡對應的校正因子表來執行縮放處理。

對魚眼圖像進行編碼的圖像處理裝置使無損編碼器將魚眼信息并入魚眼圖像的編碼流中。無損編碼器將指示是否執行縮放處理的信息并入編碼流中。魚眼信息可以包括例如魚眼透鏡的投影方法和魚眼圖像的半徑，或者可以包括指示光學圖像的投影方法而不是魚眼圖像的半徑的信息。

在對魚眼圖像的編碼流進行解碼的圖像處理裝置中，運動矢量校正單元使用通過由無損解碼器對編碼流進行解碼而獲得的魚眼信息，對例如外圍塊的運動矢量執行縮放處理。此外，在通過由無損解碼器對編碼流進行解碼而獲得的信息指示要執行縮放處理的情況下，運動矢量校正單元使用魚眼信息來執行縮放處理。