[發明專利]一種基于單雙目混合數據集的視圖合成方法

有效

• 申請號: 202010072802.9
• 申請日: 2020-01-21
• 公開（公告）號: CN111292425B
• 公開（公告）日: 2022-02-01
• 發明（設計）人: 肖春霞;李文杰
• 申請（專利權）人: 武漢大學
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T7/00;G06T15/00
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 齊晨涵

1.一種基于單雙目混合數據集的視圖合成方法，其特征在于，包括以下步驟：

步驟1，構建一個包含小規模左右雙目圖像對和大規模單目圖像集的混合數據集；

步驟2，利用小規模左右雙目圖像對預訓練一個單目視差估計網絡；

步驟3，利用步驟2中預訓練的模型，針對混合數據集中的單目圖像，將所有圖片視為“左圖”，估計每張圖片的“偽視差圖”；

步驟4，利用單目圖像數據和其對應的估計的“偽視差圖”，采用基于視差圖的渲染方法，生成對應的“偽右圖”；

步驟5，利用單目圖像集以及步驟3、步驟4中生成的“偽視差圖”、“偽右圖”一起構成一個帶有視差標簽的“偽雙目”數據集；

步驟6，利用步驟5生成的“偽雙目”數據集，重新訓練一個雙目視差估計網絡；

步驟7，利用步驟6中訓練的雙目視差估計網絡，為輸入的左右雙目測試圖片對估計視差圖并進行基于視差圖的渲染，生成左右圖像對相機基線上的新視圖合成結果。

2.根據權利要求1所述的一種基于單雙目混合數據集的視圖合成方法，其特征在于：步驟1中構建的數據集為小規模的左右雙目圖像對和大規模單目圖像集混合數據集，其中，小規模左右雙目圖像對為立體矯正后的圖像對，其規模為10²級，大規模單目圖像集為從互聯網搜集的包含各種室內、室外場景的圖像集，其規模為10⁴級。

3.根據權利要求1所述的一種基于單雙目混合數據集的視圖合成方法，其特征在于：步驟2中利用小規模左右雙目圖像對預訓練單目視差估計網絡時，將左圖作為網絡輸入，網絡輸出左、右圖像對應的左、右視差圖并利用基于視差圖的渲染分別生成右圖和左圖，其過程表示為：

(D^l，D^r)＝N^g(I^l)

其中，I^l表示小規模左右雙目圖像對中的左圖，N^g表示視差估計網絡，(D^l，D^r)表示網絡輸出的左、右視差圖，表示基于左圖和預測的右視差圖，渲染生成的右圖，表示基于右圖和預測的左視差圖，渲染生成的左圖，(i，j)表示圖片的像素坐標。

4.據權利要求3所述的一種基于單雙目混合數據集的視圖合成方法，其特征在于：步驟2中利用小規模左右雙目圖像對預訓練單目視差估計網絡時，使用真實的左、右圖作為雙向的監督信息，以左圖的監督為例，其具體實現過程如下：

步驟2.1，將生成的左圖和真實的左圖I^l比較，求SSIM和L1加權損失：

其中，N表示左圖像素點的總數，α為平衡SSIM損失和L1損失的權值；

步驟2.2，使用梯度平滑項約束生成的左視差圖的梯度，使得生成的視差圖足夠平滑：

其中，表示偏微分，e為自然對數，|*|表示求絕對值；

步驟2.3，對生成的左、右視差圖進行一致性約束，使得生成的視差圖滿足左、右之間的幾何條件限制：

步驟2.4，將步驟2.1、步驟2.2和步驟2.3中損失函數的左、右圖交換，得到針對右圖的損失函數和總體的損失函數為：

其中，α_*為控制三項損失占比的權值，通過最小化監督網絡N^g進行梯度更新。

5.據權利要求1所述的一種基于單雙目混合數據集的視圖合成方法，其特征在于：步驟3中的單目圖像集被視為“左圖”，利用步驟2中預訓練的網絡N^g估計出每張圖片對應的視差圖，其過程可表示為：

其中，表示將單目數據集輸入步驟2中預訓練的網絡N^g所預測的“偽視差圖”。

6.據權利要求5所述的一種基于單雙目混合數據集的視圖合成方法，其特征在于：步驟4利用單目圖像集和步驟3中生成的“偽視差圖”，基于視差圖的渲染方法，生成“偽右圖”，其過程定義為如下：

其中，(i，j)表示圖片的像素坐標。