[發(fā)明專利]視點合成方法、裝置、設備及計算機可讀存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010623644.1
• 申請日: 2020-07-01
• 公開（公告）號: CN111951203A
• 公開（公告）日: 2020-11-17
• 發(fā)明（設計）人: 高偉;陶履方;周琳潔
• 申請（專利權）人: 北京大學深圳研究生院
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T3/40;G06N3/08;G06N3/04
• 代理公司: 深圳市世紀恒程知識產(chǎn)權代理事務所 44287
• 代理人: 張志江

本發(fā)明公開了一種視點合成方法、裝置、設備及計算機可讀存儲介質(zhì)，該方法包括以下步驟：獲取多個輸入圖像，并將輸入圖像輸入至壓縮分辨率網(wǎng)絡，以對輸入圖像執(zhí)行壓縮分辨率操作，得到中間圖像；將中間圖像輸入至視點合成網(wǎng)絡，得到視點合成圖；將視點合成圖輸入至超分辨率網(wǎng)絡，以對視點合成圖執(zhí)行分辨率重建操作，輸出高分辨率的目標視點合成圖，其中，壓縮分辨率網(wǎng)絡與所述超分辨率網(wǎng)絡的網(wǎng)絡結構對稱。本發(fā)明通過壓縮分辨率網(wǎng)絡和超分辨率網(wǎng)絡降低視點合成數(shù)據(jù)的運算量，從而減少計算機系統(tǒng)的計算量，提升計算機運算效率，解決了計算機系統(tǒng)進行視點合成的計算效率較低的技術問題。

技術領域

本發(fā)明涉及視點合成技術領域，尤其涉及一種視點合成方法、裝置、設備及計算機可讀存儲介質(zhì)。

背景技術

光場的視點合成也可以視為角度超分辨率，由于角度分辨率的限制，為了生成平滑的視點轉換，使用視點合成技術可以從稀疏的光場視點生成更密集的虛擬視點，因此可以獲得更好的視覺體驗。另外，通過光場的視點合成技術增加角度分辨率還有益于后續(xù)的處理算法，例如重聚焦、深度估計、質(zhì)量增強、對象檢測等。因此，設計一種高效快速的光場視點合成方法以改善三維沉浸式體驗和實時處理性能是很有價值的。

先前的光場視點合成方法通常需要人工設計的特征、復雜的變換過程和大量的計算。由于這些方法的表示能力較差，合成的視點容易受到遮擋和噪聲的影響，從而導致明顯的偽影或模糊，性能很有限。近年來，隨著深度學習在計算機視覺任務上的成功，一些研究人員提出了基于卷積神經(jīng)網(wǎng)絡的光場視點合成方法，盡管這種基于卷積神經(jīng)網(wǎng)絡的視點合成算法可以得到質(zhì)量較高的視點，但是由于其具有大量參數(shù)的模型通常需要較大顯存和較長模型訓練收斂時間，導致計算機系統(tǒng)的計算效率較低，從而難以應用于大規(guī)模計算的實時系統(tǒng)中。

上述內(nèi)容僅用于輔助理解本發(fā)明的技術方案，并不代表承認上述內(nèi)容是現(xiàn)有技術。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于提供一種視點合成方法、裝置、設備及計算機可讀存儲介質(zhì)，旨在解決計算機系統(tǒng)的計算效率較低的技術問題。

為實現(xiàn)上述目的，本發(fā)明提供一種視點合成方法，所述視點合成方法包括以下步驟：

獲取多個輸入圖像，并將所述輸入圖像輸入至壓縮分辨率網(wǎng)絡，以對所述輸入圖像執(zhí)行壓縮分辨率操作，得到低分辨率的中間圖像；

將所述中間圖像輸入至視點合成網(wǎng)絡，得到低分辨率的視點合成圖；

將所述視點合成圖輸入至超分辨率網(wǎng)絡，以對所述視點合成圖執(zhí)行分辨率重建操作，輸出高分辨率的目標視點合成圖，其中，所述壓縮分辨率網(wǎng)絡與所述超分辨率網(wǎng)絡的網(wǎng)絡結構對稱。

可選地，所述獲取多個輸入圖像，并將所述輸入圖像輸入至壓縮分辨率網(wǎng)絡，以對所述輸入圖像執(zhí)行壓縮分辨率操作，得到低分辨率的中間圖像的步驟之前，還包括：

分別對所述壓縮分辨率網(wǎng)絡、所述視點合成網(wǎng)絡及所述超分辨率網(wǎng)絡執(zhí)行預訓練操作；

基于全局損失函數(shù)，聯(lián)合訓練所述壓縮分辨率網(wǎng)絡、所述視點合成網(wǎng)絡及所述超分辨率網(wǎng)絡；

基于目標網(wǎng)絡模型對應的稀疏度參數(shù)，對所述目標網(wǎng)絡模型執(zhí)行神經(jīng)網(wǎng)絡壓縮操作，其中，所述目標網(wǎng)絡模型包括所述壓縮分辨率網(wǎng)絡、所述視點合成網(wǎng)絡或所述超分辨率網(wǎng)絡中的至少一種。

可選地，所述基于目標網(wǎng)絡模型對應的稀疏度參數(shù)，對所述目標網(wǎng)絡模型執(zhí)行神經(jīng)網(wǎng)絡壓縮操作的步驟包括：

基于序貫模型優(yōu)化器生成預設的優(yōu)化目標函數(shù)對應的稀疏度參數(shù)；

將所述稀疏度參數(shù)輸入至實驗單元，進行壓縮嘗試，以確定所述目標網(wǎng)絡模型壓縮后對應的圖像質(zhì)量指標及模型復雜度指標；