[發明專利]視點合成方法、裝置、設備及計算機可讀存儲介質

在審

• 申請號: 202010623644.1
• 申請日: 2020-07-01
• 公開（公告）號: CN111951203A
• 公開（公告）日: 2020-11-17
• 發明（設計）人: 高偉;陶履方;周琳潔
• 申請（專利權）人: 北京大學深圳研究生院
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T3/40;G06N3/08;G06N3/04
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 張志江

1.一種視點合成方法，其特征在于，所述視點合成方法包括以下步驟：

獲取多個輸入圖像，并將所述輸入圖像輸入至壓縮分辨率網絡，以對所述輸入圖像執行壓縮分辨率操作，得到低分辨率的中間圖像；

將所述中間圖像輸入至視點合成網絡，得到低分辨率的視點合成圖；

將所述視點合成圖輸入至超分辨率網絡，以對所述視點合成圖執行分辨率重建操作，輸出高分辨率的目標視點合成圖，其中，所述壓縮分辨率網絡與所述超分辨率網絡的網絡結構對稱。

2.如權利要求1所述的視點合成方法，其特征在于，所述獲取多個輸入圖像，并將所述輸入圖像輸入至壓縮分辨率網絡，以對所述輸入圖像執行壓縮分辨率操作，得到低分辨率的中間圖像的步驟之前，還包括：

分別對所述壓縮分辨率網絡、所述視點合成網絡及所述超分辨率網絡執行預訓練操作；

基于全局損失函數，聯合訓練所述壓縮分辨率網絡、所述視點合成網絡及所述超分辨率網絡；

基于目標網絡模型對應的稀疏度參數，對所述目標網絡模型執行神經網絡壓縮操作，其中，所述目標網絡模型包括所述壓縮分辨率網絡、所述視點合成網絡或所述超分辨率網絡中的至少一種。

3.如權利要求2所述的視點合成方法，其特征在于，所述基于目標網絡模型對應的稀疏度參數，對所述目標網絡模型執行神經網絡壓縮操作的步驟包括：

基于序貫模型優化器生成預設的優化目標函數對應的稀疏度參數；

將所述稀疏度參數輸入至實驗單元，進行壓縮嘗試，以確定所述目標網絡模型壓縮后對應的圖像質量指標及模型復雜度指標；

基于所述圖像質量指標及所述模型復雜度指標計算所述優化目標函數對應的新的稀疏度參數，并基于所述新的稀疏度參數對所述目標網絡模型執行神經網絡壓縮操作。

4.如權利要求3所述的視點合成方法，其特征在于，所述基于所述新的稀疏度參數對所述目標網絡模型執行神經網絡壓縮操作的步驟包括：

執行所述基于所述新的稀疏度參數對所述目標網絡模型執行神經網絡壓縮操作的步驟，直至所述神經網絡壓縮操作對應的迭代次數達最大迭代次數或所述優化目標函數對應的函數值達到預設收斂條件。

5.如權利要求2所述的視點合成方法，其特征在于，所述分別對所述壓縮分辨率網絡、所述視點合成網絡及所述超分辨率網絡執行預訓練操作的步驟包括：

基于所述超分辨率網絡對應的第一損失函數，對所述超分辨率網絡執行預訓練操作；

基于所述壓縮分辨率對應的第二損失函數，聯合所述超分辨率網絡對所述壓縮分辨率網絡執行預訓練操作；

基于所述視點合成網絡對應的第三損失函數，對所述視點合成網絡執行預訓練操作。

6.如權利要求1所述的視點合成方法，其特征在于，所述將所述輸入圖像輸入至壓縮分辨率網絡，以對所述輸入圖像執行壓縮分辨率操作，得到低分辨率的中間圖像的步驟包括：

將所述輸入圖像輸入至所述壓縮分辨率網絡的第一卷積層，以對所述輸入圖像執行初始特征提取操作，得到所述輸入圖像對應的第一特征圖；

將所述第一特征圖輸入至所述壓縮分辨率的第二卷積層，以對所述第一特征圖執行降維操作，得到第二特征圖；

對所述第二特征圖依次執行縮放投影操作和重建操作，得到所述中間圖像。

7.如權利要求1至6任一項所述的視點合成方法，其特征在于，所述視點合成網絡包括視差估計子網絡及顏色預測子網絡，所述將所述中間圖像輸入至視點合成網絡，得到低分辨率的視點合成圖的步驟包括：

將所述中間圖像輸入至所述視點合成網絡的視差估計子網絡，以對所述中間圖像執行視差估計操作，得到所述中間圖像對應的視差圖；

將所述視差圖輸入至所述視點合成網絡的顏色預測子網絡，以對所述視差圖執行顏色預測操作，得到所述視點合成圖。