[發(fā)明專利]一種基于生成式對抗網(wǎng)絡(luò)的虛擬視點圖像生成方法

有效

• 申請?zhí)枺?/td>: 201810054216.4
• 申請日: 2018-01-19
• 公開（公告）號: CN108495110B
• 公開（公告）日: 2020-03-17
• 發(fā)明（設(shè)計）人: 侯春萍;莫曉蕾;楊陽;管岱;夏晗
• 申請（專利權(quán)）人: 天津大學(xué)
• 主分類號: H04N13/111
• 分類號: H04N13/111;H04N13/161;H04N13/261;H04N13/275
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 程毓英

本發(fā)明涉及一種基于生成式對抗網(wǎng)絡(luò)的虛擬視點圖像生成方法，包括下列步驟：第一步，制作數(shù)據(jù)集，獲得訓(xùn)練生成式對抗網(wǎng)絡(luò)所需要的圖像對；構(gòu)建模型：生成器和判別器使用的結(jié)構(gòu)均為卷積層后接批量歸一化層BatchNorm以及非線性運算單元ReLU激活函數(shù)的形式，所有的卷積層使用4×4的卷積核大小，并將步長設(shè)置為2，對特征圖像進行降采樣時長寬均縮小為原來的一半，上采樣時長寬均放大至2倍，Dropout層將Dropout率設(shè)置為50％；RelU激活函數(shù)選用LeakyReLu；定義損失；進行模型的訓(xùn)練和測試。

技術(shù)領(lǐng)域

本發(fā)明屬于立體視覺與深度學(xué)習(xí)領(lǐng)域，涉及一種應(yīng)用生成式對抗網(wǎng)絡(luò)模型的虛擬視點圖像生成方法。

背景技術(shù)

在日常生活中，人類用雙眼看物體時，水平排列的左右雙眼分別從稍有不同的角度觀察物體，因此左右眼捕捉到的圖像略有不同。人類由于視覺系統(tǒng)和大腦的感知，左右眼視圖在大腦中融合，使人類可以從它們的細微差別中感受到明顯的深度，并建立特征間的對應(yīng)關(guān)系，將同一空間物理點在不同圖像中的映像點對應(yīng)起來，從而對觀察到的事物產(chǎn)生一種立體的概念。

雙目立體視覺是機器視覺的一種重要形式，其最基礎(chǔ)的原理是三角測量原理和雙目視差原理。利用成像設(shè)備從不同視角獲取同一物體的兩幅圖像，通過計算圖像對應(yīng)點間的位置偏差，可以獲取物體三維幾何信息。雙目圖像數(shù)據(jù)可以通過同步相機或3D相機來獲取。標(biāo)定相機坐標(biāo)系，使兩部相機保持水平并排放置，并且光軸互相平行，用這兩部固定于不同位置的相機拍攝同一物體來，得到同一物體的兩幅圖像。這種方法由于難以控制左右兩個快門同時開閉實現(xiàn)完全“同步”，容易產(chǎn)生或多或少的時間偏差，造成左右影像的偏離。直接使用裝配有兩個鏡頭，通過模擬雙眼成像來再現(xiàn)立體影像的雙目相機、3D數(shù)碼相機進行拍攝得到雙目圖像的方法更為方便快捷，然而這種相機通常價格昂貴。因此雙目圖像數(shù)據(jù)的獲取在生活中并非易事。

在進行雙目立體視覺的研究時，常用的帶有雙目圖像數(shù)據(jù)集是主流的算法評價數(shù)據(jù)集，如KITTI、Middlebury。這些現(xiàn)有的包含雙目圖像的數(shù)據(jù)集數(shù)據(jù)量普通不足，或只關(guān)注特定類圖像，泛化能力不強。為彌補現(xiàn)有數(shù)據(jù)集存在的問題，以促進雙目立體視覺技術(shù)的進一步研究，需要研究一種能實現(xiàn)雙目圖像數(shù)據(jù)集樣本數(shù)量擴充，具有高泛化能力的虛擬視點圖像生成方法。然而過去的研究例如基于深度圖的虛擬視點圖像生成方法，往往依賴于兩個視點圖像的深度圖、視差圖等先驗信息。但是這對更一般的、深度信息或視差信息未知時的自然圖像并不適用。

生成式對抗網(wǎng)絡(luò)(Generative Adversarial Net，GAN)是一種通用的模型，適用于解決圖像到圖像的翻譯問題。GAN受啟發(fā)于博弈論，其模型中使用生成器和判別器充當(dāng)博弈的雙方。生成器通過捕捉樣本數(shù)據(jù)的分布，用服從某一分布的噪聲生成出模擬真實訓(xùn)練數(shù)據(jù)的樣本；判別器是一個二分類器，估計樣本來自于真實訓(xùn)練數(shù)據(jù)的概率。通過固定一方，更新另一方的網(wǎng)絡(luò)權(quán)重的方式，交替迭代對生成器和判別器進行訓(xùn)練。訓(xùn)練過程中，雙方都極力優(yōu)化自己的網(wǎng)絡(luò)，從而形成競爭對抗，直到達到動態(tài)平衡：生成器恢復(fù)了訓(xùn)練數(shù)據(jù)的分布，造出了和真實數(shù)據(jù)一模一樣的樣本，而判別器再也鑒別不出真實圖像。

發(fā)明內(nèi)容

本發(fā)明的目的在提供一種利用GAN模型的虛擬視點圖像生成方法。技術(shù)方案如下：

一種基于生成式對抗網(wǎng)絡(luò)的虛擬視點圖像生成方法，包括下列步驟：

第一步，制作數(shù)據(jù)集：對于立體圖像，根據(jù)雙目圖像的特點，采用數(shù)據(jù)增強手段，獲得訓(xùn)練生成式對抗網(wǎng)絡(luò)所需要的圖像對，將一一對應(yīng)的左眼視圖與右眼視圖水平拼接成一張圖片，從而得到訓(xùn)練圖像和測試圖像，生成數(shù)據(jù)集。