[發(fā)明專利]一種基于多平面圖像學(xué)習(xí)視角合成的基線擴(kuò)展實(shí)現(xiàn)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011105754.5
• 申請(qǐng)日: 2020-10-15
• 公開(kāi)（公告）號(hào): CN112233165A
• 公開(kāi)（公告）日: 2021-01-15
• 發(fā)明（設(shè)計(jì)）人: 張淼;樸永日;孫小飛
• 申請(qǐng)（專利權(quán)）人: 大連理工大學(xué)
• 主分類號(hào): G06T7/593
• 分類號(hào): G06T7/593;G06T15/04;G06T15/10;G06N3/04;G06N3/08
• 代理公司: 大連東方專利代理有限責(zé)任公司 21212
• 代理人: 陳麗;李洪福

本發(fā)明公開(kāi)了一種基于多平面圖像學(xué)習(xí)視角合成的基線擴(kuò)展實(shí)現(xiàn)方法，用于從窄基線立體攝像機(jī)捕獲的圖像中推斷出基線之外的視圖。包括：基于視頻剪輯獲取包括由第一相機(jī)采集的第一幅圖像和由第二相機(jī)采集的第二幅圖像的立體圖像對(duì)；將第二幅圖像投影到第一相機(jī)坐標(biāo)系下的一組深度平面上，計(jì)算平面掃描量，得到重新投影的圖像；將重新投影的圖像沿著顏色通道級(jí)聯(lián)，再將張量與第一幅圖像級(jí)聯(lián)，得到輸入張量；將輸入張量輸入訓(xùn)練好的基于深度神經(jīng)網(wǎng)絡(luò)的MPI學(xué)習(xí)網(wǎng)絡(luò)，得到多平面圖像MPI的RGBA分層表示；基于MPI的RGBA分層表示，合成同一場(chǎng)景的輸入視圖之外的視圖。本發(fā)明在擴(kuò)展窄基線立體圖像方面具有良好的應(yīng)用前景，并能對(duì)許多具有挑戰(zhàn)性的場(chǎng)景獲得準(zhǔn)確的推理結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺(jué)領(lǐng)域，尤其涉及一種基于多平面圖像學(xué)習(xí)視角合成的基線擴(kuò)展實(shí)現(xiàn)方法。

背景技術(shù)

隨著立體攝像機(jī)的廣泛應(yīng)用，大量立體圖像數(shù)據(jù)的產(chǎn)生促進(jìn)了立體視覺(jué)技術(shù)的進(jìn)步。然而，大部分立體攝相機(jī)，如虛擬現(xiàn)實(shí)(VR)攝像機(jī)和當(dāng)前廣泛使用的雙鏡頭攝像機(jī)，都屬于窄基線立體攝相機(jī)，這類立體攝相機(jī)的基線比人眼的距離要窄，所以拍攝出的立體圖像不能與人類視覺(jué)系統(tǒng)相匹配，不能到達(dá)引人注目的3D立體效果，或者不能到達(dá)沉浸式的虛擬體驗(yàn)。

因此，亟需一種從這樣窄基線的參考圖像合成基線之外的新視圖的方法。

發(fā)明內(nèi)容

從成對(duì)的輸入圖像到基線放大數(shù)倍的新視角，稱之為視圖的基線擴(kuò)展。基線擴(kuò)展在攝影中有許多應(yīng)用，例如，可以在手機(jī)上拍攝一對(duì)窄基線(約1厘米)的立體圖像，并通過(guò)基線擴(kuò)展實(shí)現(xiàn)適合人類視覺(jué)系統(tǒng)(約6.3厘米)的立體圖像對(duì)，以創(chuàng)建具有引人注目的3D立體效果的照片；或者，可以使用VR180°攝像機(jī)拍攝瞳距(IPD)分離的立體圖像對(duì)，并沿一條半米長(zhǎng)的線外插值至整個(gè)視角的圖像集，以便在較小的頭部運(yùn)動(dòng)范圍內(nèi)實(shí)現(xiàn)全視差。

本發(fā)明提供了一種基于多平面圖像學(xué)習(xí)視角合成的基線擴(kuò)展實(shí)現(xiàn)方法，該方法是一個(gè)實(shí)用而強(qiáng)大的深度學(xué)習(xí)解決方案，用于捕捉和渲染復(fù)雜現(xiàn)實(shí)場(chǎng)景的基線外視圖，以進(jìn)行虛擬探索。

本發(fā)明提供了以下技術(shù)方案：

一種基于多平面圖像學(xué)習(xí)視角合成的基線擴(kuò)展實(shí)現(xiàn)方法，包括以下步驟：

步驟1、基于視頻剪輯獲取立體圖像對(duì)；所述立體圖像對(duì)包括由第一相機(jī)采集的第一幅圖像I₁和由第二相機(jī)采集的第二幅圖像I₂；

步驟2、將所述第二幅圖像I₂重新投影到所述第一相機(jī)的坐標(biāo)系下的一組固定深度平面上，計(jì)算平面掃描量，得到重新投影的圖像表示I₂重新投影到I₁視角下深度為D的平面上的圖像；

步驟3、將所述重新投影的圖像沿著顏色通道級(jí)聯(lián)，得到維度為H×W×3D的張量再將所述張量與所述第一幅圖像級(jí)聯(lián)，得到維度為H×W×3(D+1)的輸入張量；其中，H和W表示投影圖像的長(zhǎng)和寬，D表示深度；

步驟4、將所述輸入張量輸入訓(xùn)練好的基于深度神經(jīng)網(wǎng)絡(luò)的MPI學(xué)習(xí)網(wǎng)絡(luò)，得到多平面圖像MPI的RGBA分層表示；

步驟5、基于MPI的RGBA分層表示，合成同一場(chǎng)景的輸入視圖之外的視圖。

進(jìn)一步地，獲取立體圖像對(duì)包括：

基于視頻剪輯選取連續(xù)N幀視頻子序列；其中，N為大于2的正整數(shù)；

從所述視頻子序列中隨機(jī)選取立體圖像對(duì)。

進(jìn)一步地，得到多平面圖像MPI的RGBA分層表示，包括：

獲取所述MPI學(xué)習(xí)網(wǎng)絡(luò)的網(wǎng)絡(luò)輸出；所述網(wǎng)絡(luò)輸出包括每一個(gè)平面的α通道、全局RGB背景圖像和每個(gè)平面的混合權(quán)重圖像W_d，