[發(fā)明專利]圖像處理設(shè)備、方法和非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201780074298.2
• 申請(qǐng)日: 2017-10-26
• 公開(kāi)（公告）號(hào): CN110073414B
• 公開(kāi)（公告）日: 2023-09-19
• 發(fā)明（設(shè)計(jì)）人: 榊間英人
• 申請(qǐng)（專利權(quán)）人: 佳能株式會(huì)社
• 主分類(lèi)號(hào): G06T15/20
• 分類(lèi)號(hào): G06T15/20;H04N7/18
• 代理公司: 北京魏?jiǎn)W(xué)律師事務(wù)所 11398
• 代理人: 魏?jiǎn)W(xué)

1.一種圖像處理設(shè)備，用于輸出基于通過(guò)多個(gè)照相機(jī)從不同方向獲得的多個(gè)拍攝圖像的虛擬視點(diǎn)圖像，所述圖像處理設(shè)備包括：

視點(diǎn)信息獲得單元，其被配置為獲得指示虛擬視點(diǎn)的視點(diǎn)位置和視點(diǎn)方向的視點(diǎn)信息；

照相機(jī)信息獲得單元，其被配置為獲得與所述多個(gè)照相機(jī)的安裝有關(guān)的照相機(jī)信息；

確定單元，其被配置為基于所述視點(diǎn)信息獲得單元所獲得的視點(diǎn)信息以及所述照相機(jī)信息獲得單元所獲得的照相機(jī)信息，從多個(gè)圖像處理方法中確定要用于基于所述多個(gè)拍攝圖像生成與所述虛擬視點(diǎn)相對(duì)應(yīng)的虛擬視點(diǎn)圖像的圖像處理方法；以及

輸出單元，其被配置為輸出通過(guò)使用所述確定單元所確定的圖像處理方法而生成的虛擬視點(diǎn)圖像。

2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述照相機(jī)信息包括照相機(jī)的位置、姿勢(shì)和視角中的至少一個(gè)信息。

3.根據(jù)權(quán)利要求1或2所述的圖像處理設(shè)備，其中，所述確定單元基于從所述視點(diǎn)信息獲得單元所獲得的視點(diǎn)信息指定的虛擬視點(diǎn)方向與從所述照相機(jī)信息獲得單元所獲得的照相機(jī)信息指定的照相機(jī)攝像方向之間的關(guān)系，來(lái)確定所述圖像處理方法。

4.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中，所述確定單元確定所述圖像處理方法，使得在由所述虛擬視點(diǎn)方向和所述照相機(jī)攝像方向形成的角度小于預(yù)定值的情況下將使用通過(guò)對(duì)拍攝圖像進(jìn)行投影變換來(lái)處理圖像的圖像處理方法，以及在該角度不小于所述預(yù)定值的情況下將使用通過(guò)使用基于多個(gè)拍攝圖像的三維模型來(lái)處理圖像的圖像處理方法。

5.根據(jù)權(quán)利要求1或2所述的圖像處理設(shè)備，其中，所述確定單元基于從所述視點(diǎn)信息獲得單元所獲得的視點(diǎn)信息指定的虛擬視點(diǎn)的視場(chǎng)與從所述照相機(jī)信息獲得單元所獲得的照相機(jī)信息指定的多個(gè)照相機(jī)的攝像范圍中所包括的注視點(diǎn)區(qū)域之間的關(guān)系，來(lái)確定所述圖像處理方法。

6.根據(jù)權(quán)利要求5所述的圖像處理設(shè)備，其中，作為用于生成所述虛擬視點(diǎn)圖像的圖像處理方法，所述確定單元在所述注視點(diǎn)區(qū)域在所述虛擬視點(diǎn)的視場(chǎng)中所占的比率大于預(yù)定值的情況下確定使用通過(guò)使用基于多個(gè)拍攝圖像的三維模型來(lái)處理圖像的圖像處理方法，以及在所述比率不大于所述預(yù)定值的情況下確定使用通過(guò)對(duì)拍攝圖像進(jìn)行投影變換來(lái)處理圖像的圖像處理方法。

7.根據(jù)權(quán)利要求1或2所述的圖像處理設(shè)備，其中，所述確定單元基于從所述視點(diǎn)信息獲得單元所獲得的視點(diǎn)信息指定的虛擬視點(diǎn)的視場(chǎng)中所包括的被攝體的類(lèi)型來(lái)確定所述圖像處理方法。

8.根據(jù)權(quán)利要求1或2所述的圖像處理設(shè)備，其中所述多個(gè)圖像處理方法包括通過(guò)使用基于多個(gè)拍攝圖像的三維模型來(lái)處理圖像的數(shù)個(gè)圖像處理方法，其中，所述數(shù)個(gè)圖像處理方法的各圖像處理方法中使用的所述三維模型的粗糙度不同。

9.根據(jù)權(quán)利要求1或2所述的圖像處理設(shè)備，其中，所述多個(gè)圖像處理方法包括通過(guò)對(duì)拍攝圖像進(jìn)行投影變換來(lái)處理圖像的數(shù)個(gè)圖像處理方法，其中，所述數(shù)個(gè)圖像處理方法的各圖像處理方法中使用的拍攝圖像的數(shù)量不同。

10.一種圖像處理設(shè)備，用于輸出基于通過(guò)多個(gè)照相機(jī)從不同方向獲得的多個(gè)拍攝圖像的虛擬視點(diǎn)圖像，所述圖像處理設(shè)備包括：

視點(diǎn)信息獲得單元，其被配置為獲得指示虛擬視點(diǎn)的視點(diǎn)位置和視點(diǎn)方向的視點(diǎn)信息；

確定單元，其被配置為基于所述視點(diǎn)信息獲得單元所獲得的視點(diǎn)信息指定的虛擬視點(diǎn)的改變，從多個(gè)圖像處理方法中確定要用于基于所述多個(gè)拍攝圖像生成與所述虛擬視點(diǎn)相對(duì)應(yīng)的虛擬視點(diǎn)圖像的圖像處理方法；以及

輸出單元，其被配置為輸出通過(guò)使用所述確定單元所確定的圖像處理方法而生成的虛擬視點(diǎn)圖像，

其中，所述確定單元確定在所述虛擬視點(diǎn)的改變與弧形運(yùn)動(dòng)相對(duì)應(yīng)的情況下使用通過(guò)使用基于多個(gè)拍攝圖像的三維模型來(lái)處理圖像的圖像處理方法，作為用于生成虛擬視點(diǎn)圖像的圖像處理方法。