[發(fā)明專利]一種視點(diǎn)圖像處理方法及相關(guān)設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201910901219.1
• 申請(qǐng)日: 2019-09-23
• 公開（公告）號(hào): CN112541972A
• 公開（公告）日: 2021-03-23
• 發(fā)明（設(shè)計(jì)）人: 宋翼;邸佩云;向維;韓康;王冰
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): G06T19/00
• 分類號(hào): G06T19/00;G06N3/04
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郝傳鑫;熊永強(qiáng)

本發(fā)明實(shí)施例提供一種視點(diǎn)圖像處理方法及相關(guān)設(shè)備，涉及人工智能/計(jì)算機(jī)視覺領(lǐng)域，該方法包括：獲取預(yù)設(shè)個(gè)數(shù)第一視點(diǎn)圖像；獲取上述預(yù)設(shè)個(gè)數(shù)第一視點(diǎn)圖像之間的幾何特征矩陣；根據(jù)上述幾何特征矩陣和待合成的第二視點(diǎn)圖像的位置信息生成上述預(yù)設(shè)個(gè)數(shù)第一視點(diǎn)圖像中每一個(gè)像素的自適應(yīng)卷積核；其中，上述位置信息表征上述第二視點(diǎn)圖像的視點(diǎn)位置；根據(jù)上述自適應(yīng)卷積核和上述預(yù)設(shè)個(gè)數(shù)第一視點(diǎn)圖像的像素生成上述預(yù)設(shè)個(gè)數(shù)待處理的虛擬合成像素矩陣；將上述預(yù)設(shè)個(gè)數(shù)待處理的虛擬合成像素矩陣合成上述第二視點(diǎn)圖像。采用本發(fā)明實(shí)施例，能夠提高上述第二視點(diǎn)圖像合成的效率和質(zhì)量。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種視點(diǎn)圖像處理方法及相關(guān)設(shè)備。

背景技術(shù)

多視點(diǎn)圖像數(shù)據(jù)是一種用多個(gè)視頻或圖像采集設(shè)備獲得的具有多個(gè)視角的圖像或視頻數(shù)據(jù)。比如在虛擬現(xiàn)實(shí)視頻內(nèi)容的拍攝中，可利用多個(gè)相機(jī)在不同位置拍攝視頻，獲得多視點(diǎn)圖像數(shù)據(jù)，然后經(jīng)過計(jì)算機(jī)進(jìn)行圖像處理得到虛擬視點(diǎn)圖像，給用戶營(yíng)造虛擬現(xiàn)實(shí)視頻體驗(yàn)。

由于現(xiàn)有圖像傳感器像素或硬件成本的限制，現(xiàn)有的拍攝設(shè)備不能同時(shí)獲得較高的空間分辨率(單個(gè)視點(diǎn)圖像分辨率)和角度分辨率(視點(diǎn)圖像數(shù)量)。因此，通過拍攝空間分辨率較高、視點(diǎn)圖像較少的多視點(diǎn)圖像數(shù)據(jù)，并利用視點(diǎn)圖像合成技術(shù)合成虛擬視點(diǎn)圖像，重建高空間分辨率的自由視點(diǎn)圖像數(shù)據(jù)成為解決該問題的有效途徑。

現(xiàn)有技術(shù)中合成虛擬視點(diǎn)圖像的方法中，例如如圖1、圖2和圖3所示的方案。圖1所示的方案，通過提取已有視點(diǎn)圖像的深度信息作為卷積神經(jīng)網(wǎng)絡(luò)(convolutional neuralnetworks，CNN)的訓(xùn)練特征，通過CNN預(yù)測(cè)合成虛擬視點(diǎn)圖像。但是，由于該方案是基于已有視點(diǎn)圖像的深度信息作為訓(xùn)練特征來合成虛擬視點(diǎn)圖像，很難保證獲取的深度信息的準(zhǔn)確性，因此合成的虛擬視點(diǎn)圖像的質(zhì)量較差，另外，該方案每合成一個(gè)虛擬視點(diǎn)圖像都需要重新提取已有視點(diǎn)圖像的特征，然后運(yùn)行整個(gè)合成網(wǎng)絡(luò)，導(dǎo)致虛擬視點(diǎn)圖像的合成效率較低。

需要說明的是，上述已有視點(diǎn)圖像是用視頻或圖像采集設(shè)備(例如相機(jī)、攝像機(jī)、圖像傳感器等)在空間中某個(gè)位置實(shí)際拍攝獲取到的圖像。具體的，視點(diǎn)圖像又可以稱為視點(diǎn)。此外，上述虛擬視點(diǎn)圖像為未經(jīng)過視頻或圖像采集設(shè)備的實(shí)際拍攝，而是依靠計(jì)算虛擬合成的圖像。

圖2所示的方案，使用CNN和互相關(guān)來預(yù)測(cè)兩個(gè)視點(diǎn)圖像之間的光流，并通過光流信息來合成兩個(gè)視點(diǎn)圖像之間的虛擬視點(diǎn)圖像。但是，該方案只能處理兩個(gè)已有視點(diǎn)圖像之間的虛擬視點(diǎn)圖像合成問題，所合成的虛擬視點(diǎn)圖像只能在兩個(gè)虛擬視點(diǎn)圖像之間的一維連線上；此外，該方案難以估計(jì)像素級(jí)別的光流信息，如果用到虛擬視點(diǎn)圖像合成相關(guān)應(yīng)用，將致使合成的虛擬視點(diǎn)圖像的物體邊緣部分質(zhì)量較差。

圖3所示的方案，使用CNN和自適應(yīng)卷積核來合成兩個(gè)視點(diǎn)圖像的中間視點(diǎn)圖像。但是，該方案只能生成一維兩個(gè)視點(diǎn)圖像的中間視點(diǎn)圖像，對(duì)于多個(gè)視點(diǎn)圖像需要重復(fù)的運(yùn)行CNN，合成效率較低。

綜上所述，如何在保證虛擬視點(diǎn)圖像合成質(zhì)量的情況下，提高合成的效率是本領(lǐng)域技術(shù)人員急需解決的技術(shù)問題。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例公開了一種視點(diǎn)圖像處理方法及相關(guān)設(shè)備，能夠提高合成的虛擬視點(diǎn)的質(zhì)量，同時(shí)提高合成的效率。

第一方面，本申請(qǐng)實(shí)施例公開了一種視點(diǎn)圖像處理方法，該方法包括：

獲取至少兩個(gè)第一視點(diǎn)圖像，所述至少兩個(gè)第一視點(diǎn)圖像包括分別在所述至少兩個(gè)視點(diǎn)位置采集到的圖像；

將所述至少兩個(gè)第一視點(diǎn)圖像和待合成的第二視點(diǎn)圖像的位置信息輸入虛擬視點(diǎn)合成網(wǎng)絡(luò)；其中，所述虛擬視點(diǎn)合成網(wǎng)絡(luò)為基于所述至少兩個(gè)第一視點(diǎn)圖像中每一個(gè)像素的自適應(yīng)卷積核來合成所述第二視點(diǎn)圖像的網(wǎng)絡(luò)；所述位置信息表征所述第二視點(diǎn)圖像的視點(diǎn)位置，所述第二視點(diǎn)圖像在目標(biāo)區(qū)域內(nèi)，所述目標(biāo)區(qū)域包括所述至少兩個(gè)第一視點(diǎn)圖像組成的區(qū)域；

通過所述虛擬視點(diǎn)合成網(wǎng)絡(luò)計(jì)算得到所述第二視點(diǎn)圖像。