[發明專利]圖像處理設備、編碼裝置、解碼裝置、圖像處理方法、程序、編碼方法和解碼方法

在審

• 申請號: 201880090216.8
• 申請日: 2018-07-23
• 公開（公告）號: CN111788601A
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 菅野尚子;田中潤一
• 申請（專利權）人: 索尼公司
• 主分類號: G06T3/00
• 分類號: G06T3/00
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王萍;李彥麗

一種圖像處理設備，其響應于由兩個或更多個間隔開的圖像捕獲裝置同時捕獲的對象的連續圖像組以及指示該對象相對于至少一個距離測量裝置的三維位置的深度信息，該圖像處理設備包括：幀選擇單元，其被配置成選擇連續圖像組的集合；模型生成單元，其被配置成針對圖像組的集合中的每個圖像組，根據由兩個或更多個間隔開的圖像捕獲裝置同時捕獲的圖像以及根據深度信息來生成三維模型，并且將紋理映射到所生成的三維模型；以及合成單元，其被配置成通過將由模型生成單元生成的三維模型疊加在預定背景上來生成關于頻閃圖像視點的頻閃圖像。

相關申請的交叉引用

本申請要求于2018年3月1日提交的日本優先權專利申請JP2018-036225的權益，其全部內容通過引用并入本文。

技術領域

本公開內容涉及圖像處理設備、編碼裝置、解碼裝置、圖像處理方法、程序、編碼方法和解碼方法。

背景技術

提出了用于生成頻閃合成圖像的各種處理(例如，參見PTL 1)。

引用列表

專利文獻

PTL 1

JP 2007-259477A

發明內容

技術問題

在這樣的領域中，期望執行適當的用于生成期望的頻閃合成圖像的處理。

期望提供例如用于生成包括3D模型的頻閃合成視頻的圖像處理設備、編碼裝置、解碼裝置、圖像處理方法、程序、編碼方法和解碼方法。

問題的解決方案

本公開內容提供，例如，

一種圖像處理設備，包括：

獲取單元，其獲取通過在第一時間點處捕獲被攝體而獲得的多個視點圖像、通過在第二時間點處捕獲被攝體而獲得的多個視點圖像以及通過在第三時間點處捕獲被攝體而獲得的多個視點圖像；以及

圖像生成單元，其基于各個時間點的被攝體位置來生成合成3D模型，該合成3D模型包括基于第一時間點至第三時間點中的至少兩個時間點中的各個時間點的多個視點圖像生成的在各個時間點處的被攝體的3D模型。

本公開內容提供，例如，

一種編碼裝置，包括：

編碼單元，其通過基于第一時間點至第三時間點的各個時間點處的被攝體位置，根據預定編碼方法，對基于第一時間點、第二時間點和第三時間點中的至少兩個時間點中的各個時間點的多個視點圖像生成的每個時間點的被攝體的3D模型、從3D模型轉換的2D圖像數據和指示2D圖像數據中包括的被攝體的深度的深度圖像數據中的至少一個、以及指示各個時間點的3D模型相互不干擾的標志進行編碼，來生成編碼數據。

本公開內容提供，例如，

一種解碼裝置，包括：

解碼單元，其基于第一時間點至第三時間點的各個位置處的被攝體位置，對編碼數據進行解碼，所述編碼數據包括基于第一時間點、第二時間點和第三時間點中的至少兩個時間點中的各個時間點的多個視點圖像生成的每個時間點的被攝體的3D模型、從3D模型轉換的2D圖像數據和指示2D圖像數據中包括的被攝體的深度的深度圖像數據中的至少一個、獲取視點圖像的圖像捕獲裝置的攝像機參數以及視點圖像的背景圖像，其中

解碼單元基于背景圖像和攝像機參數來生成包括3D模型的合成3D模型，并且基于合成3D模型從圖像分離預定時間點的被攝體。

本公開內容提供，例如，

一種圖像處理方法，包括以下步驟：