[發(fā)明專利]一種基于單雙目混合數(shù)據(jù)集的視圖合成方法

有效

• 申請?zhí)枺?/td>: 202010072802.9
• 申請日: 2020-01-21
• 公開（公告）號: CN111292425B
• 公開（公告）日: 2022-02-01
• 發(fā)明（設(shè)計）人: 肖春霞;李文杰
• 申請（專利權(quán)）人: 武漢大學(xué)
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T7/00;G06T15/00
• 代理公司: 武漢科皓知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 齊晨涵

本發(fā)明提供一種基于單雙目混合數(shù)據(jù)集的視圖合成方法，首先利用小規(guī)模左右雙目圖像對預(yù)訓(xùn)練一個視差估計網(wǎng)絡(luò)，然后使用預(yù)訓(xùn)練的網(wǎng)絡(luò)為大規(guī)模單目圖片集生成右圖和視差標簽，構(gòu)成大規(guī)模雙目圖像對，再使用生成的大規(guī)模雙目圖像對訓(xùn)練另一個視差估計網(wǎng)絡(luò)，最后利用基于視差圖的渲染技術(shù)完成視圖合成。本發(fā)明有如下優(yōu)點：基于小規(guī)模左右雙目圖像對訓(xùn)練了一個視差估計網(wǎng)絡(luò)；基于大規(guī)模單目圖片集生成了一個帶有視差標簽的大規(guī)?！皞坞p目數(shù)據(jù)集”；基于自己生成的“偽數(shù)據(jù)集”訓(xùn)練了一個視差估計網(wǎng)絡(luò)；提出用小規(guī)模左右雙目圖像對和大規(guī)模單目圖片集混合訓(xùn)練集訓(xùn)練視差估計網(wǎng)絡(luò)的方法，數(shù)據(jù)集更容易構(gòu)建且單目圖片集不需要考慮光照一致性、相機移動以及物體移動等因素。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機視覺和圖像渲染領(lǐng)域，涉及一種基于深度學(xué)習(xí)的視圖合成方法，尤其是一種基于小規(guī)模雙目訓(xùn)練集的視圖合成方法。

背景技術(shù)

在生活中有很多情況下需要用到視圖合成技術(shù)，例如虛擬現(xiàn)實里面的虛擬畫面渲染、3D展示技術(shù)、2D視頻轉(zhuǎn)3D視頻等。現(xiàn)有的視圖合成方法主要是基于深度學(xué)習(xí)的方法，使用卷積神經(jīng)網(wǎng)絡(luò)作為圖像處理模型提取圖像特征，進而估算場景的深度信息，再利用基于深度圖的渲染技術(shù)生成新視角的圖像。然而，現(xiàn)有的基于深度學(xué)習(xí)的方法多是基于雙目或多目數(shù)據(jù)集的，并且所需數(shù)據(jù)集規(guī)模較大。雖然已有某些大規(guī)模雙目圖像數(shù)據(jù)集和單目視頻數(shù)據(jù)集可用于訓(xùn)練，但是這些數(shù)據(jù)集所包含的場景比較單一化、同質(zhì)化，不利于模型的泛化。一方面，如果構(gòu)建一個包含各類場景的雙目或者多目數(shù)據(jù)集，會耗費大量時間、人力、設(shè)備成本，相比較而言，構(gòu)建一個小規(guī)模的單目圖片數(shù)據(jù)集會更加容易，只需要在互聯(lián)網(wǎng)上搜集各種單張圖片即可。另一方面，單目視頻數(shù)據(jù)集存在相機的運動和場景中物體的移動等情況，這些因素會給模型訓(xùn)練增加難度，對比之下，利用單目圖片數(shù)據(jù)集進行訓(xùn)練可以避免這些問題。

發(fā)明內(nèi)容

本發(fā)明的目的是克服上述現(xiàn)有方法存在的缺陷，提供了一種基于小規(guī)模左右雙目圖片和大規(guī)模單目圖片混合數(shù)據(jù)集的視圖合成方法，利用小規(guī)模雙目數(shù)據(jù)集預(yù)訓(xùn)練一個單目視差估計網(wǎng)絡(luò)，該網(wǎng)絡(luò)用于后續(xù)單目數(shù)據(jù)集的視差圖和“偽右圖”的生成，從而構(gòu)建新的“偽雙目”數(shù)據(jù)集，用于訓(xùn)練最終的視圖合成網(wǎng)絡(luò)。

本發(fā)明的上述技術(shù)問題主要是通過以下技術(shù)方案得以解決的，一種基于單雙目混合數(shù)據(jù)集的視圖合成方法，包括以下步驟：

步驟1，構(gòu)建一個包含小規(guī)模左右雙目圖像對和大規(guī)模單目圖像集的混合數(shù)據(jù)集；

步驟2，利用小規(guī)模左右雙目圖像對預(yù)訓(xùn)練一個單目視差估計網(wǎng)絡(luò)；

步驟3，利用步驟2中預(yù)訓(xùn)練的模型，針對混合數(shù)據(jù)集中的單目圖像，將所有圖片視為“左圖”，估計每張圖片的“偽視差圖”；

步驟4，利用單目圖像數(shù)據(jù)和其對應(yīng)的估計的“偽視差圖”，采用基于視差圖的渲染方法，生成對應(yīng)的“偽右圖”；

步驟5，利用單目圖像集以及步驟3、步驟4中生成的“偽視差圖”、“偽右圖”一起構(gòu)成一個帶有視差標簽的“偽雙目”數(shù)據(jù)集；

步驟6，利用步驟5生成的“偽雙目”數(shù)據(jù)集，重新訓(xùn)練一個雙目視差估計網(wǎng)絡(luò)；

步驟7，利用步驟6中訓(xùn)練的雙目視差估計網(wǎng)絡(luò)，為輸入的左右雙目測試圖片對估計視差圖并進行基于視差圖的渲染，生成左右圖像對相機基線上的新視圖合成結(jié)果。

進一步的，步驟1中構(gòu)建的數(shù)據(jù)集為小規(guī)模的左右雙目圖像對和大規(guī)模單目圖像集混合數(shù)據(jù)集，其中，小規(guī)模左右雙目圖像對為立體矯正后的圖像對，其規(guī)模為(10²級)，大規(guī)模單目圖像集為從互聯(lián)網(wǎng)搜集的包含各種室內(nèi)、室外場景的圖像集，其規(guī)模為(10⁴級)。

進一步的，步驟2中利用小規(guī)模左右雙目圖像對預(yù)訓(xùn)練單目視差估計網(wǎng)絡(luò)時，將左圖作為網(wǎng)絡(luò)輸入，右圖用于監(jiān)督；網(wǎng)絡(luò)輸出左、右圖像對應(yīng)的左、右視差圖并利用基于視差圖的渲染分別生成右圖和左圖，其過程可表示為：