[發明專利]圖像處理設備、方法和非暫時性計算機可讀存儲介質

有效

• 申請號: 201780074298.2
• 申請日: 2017-10-26
• 公開（公告）號: CN110073414B
• 公開（公告）日: 2023-09-19
• 發明（設計）人: 榊間英人
• 申請（專利權）人: 佳能株式會社
• 主分類號: G06T15/20
• 分類號: G06T15/20;H04N7/18
• 代理公司: 北京魏啟學律師事務所 11398
• 代理人: 魏啟學

用于生成虛擬視點圖像的圖像處理設備獲取與拍攝用于生成虛擬視點圖像的圖像的照相機組的安裝有關的信息和與虛擬視點有關的視點信息；基于與照相機組的安裝有關的信息和視點信息來確定用于生成虛擬視點圖像的圖像處理方法；以及通過使用所確定的圖像處理方法來生成與虛擬視點相對應的虛擬視點圖像。

技術領域

本發明涉及通過使用來自多個照相機的拍攝圖像來生成虛擬視點圖像的圖像處理設備和方法。

背景技術

近來，通過在不同位置處安裝多個照相機來在多個視點進行同步攝像并通過使用從攝像獲得的多個視點圖像來生成虛擬視點內容的技術已經引起關注。從多個視點圖像生成虛擬視點內容的這種技術使得能夠例如從各個角度觀看足球比賽或籃球比賽的精彩部分的場景拍攝。因此，與通常圖像相比，用戶可以享受逼真的感覺。通過使諸如服務器等的圖像處理單元收集由多個照相機拍攝到的圖像并進行諸如三維形狀模型生成和繪制(rendering)等的處理來生成基于多個視點圖像的虛擬視點內容。所生成的虛擬視點內容被發送到用戶終端并由用戶觀看。

可以使用多種方法作為圖像處理單元中的虛擬視點內容生成方法。例如，存在基于模型的繪制和基于圖像的繪制等，其中在基于模型的繪制中，在生成三維模型時進行繪制，以及在基于圖像的繪制中，在無需生成三維模型的情況下將由照相機拍攝到的圖像布置在三維空間中。各種圖像生成方法都具有其自身的圖像質量和處理負荷特性。專利文獻1公開如下：為了顯示基于三維形狀數據的運動圖像，通過從多種繪制方法中選擇能夠基于資源量、三維形狀數據量和幀頻在一幀內進行處理的繪制方法來進行繪制。

現有技術文獻

專利文獻

專利文獻1：日本特開2004-086508

發明內容

技術問題

通過使用相同圖像生成方法所生成的虛擬視點圖像的圖像質量根據多個照相機的布置位置和虛擬視點的位置而改變。換句話說，可以以最高圖像質量生成虛擬視點圖像的圖像生成方法將根據照相機布置和虛擬視點位置而改變。盡管在專利文獻1中能夠選擇可以在一幀內進行處理的繪制方法，但是未確保所選擇的結果是高圖像質量方法。因此，不能穩定地生成具有高圖像質量的虛擬視點圖像。

根據本發明的實施例，提供了即使在虛擬視點的位置改變時也能夠生成具有高圖像質量的虛擬視點圖像的圖像生成設備和方法。

用于解決問題的方案

根據本發明的一個方面的圖像處理設備包括以下布置。也就是說，提供一種圖像處理設備，用于輸出基于通過多個照相機從不同方向獲得的多個拍攝圖像的虛擬視點圖像，包括：視點信息獲得部件，用于獲得指示指定虛擬視點的位置和方向的視點信息；確定部件，用于基于所述視點信息獲得部件所獲得的視點信息，從多個圖像處理方法中確定要用于基于所述多個拍攝圖像生成與所述虛擬視點相對應的虛擬視點圖像的圖像處理方法；以及輸出部件，用于輸出通過使用所述確定部件所確定的圖像處理方法而生成的虛擬視點圖像。

發明的效果

根據本發明，可以確定適合于基于虛擬視點來生成虛擬視點圖像的圖像生成方法。結果，即使當虛擬視點的位置已經改變時，也可以生成具有高圖像質量的虛擬視點圖像。

通以下參照附圖所提供的描述，本發明的其它特征和優點將變得顯而易見。注意，相同的附圖標記表示附圖中的相同或相似的組件。

附圖說明

包含在說明書中并構成說明書的一部分的附圖示出本發明的實施例，并與說明書一起用于說明本發明的原理。

圖1是用于說明根據實施例的圖像處理系統的框圖；