[發(fā)明專利]自由視點圖像生成方法、裝置、系統(tǒng)及可讀存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011181122.7
• 申請日: 2020-10-29
• 公開（公告）號: CN112291550A
• 公開（公告）日: 2021-01-29
• 發(fā)明（設(shè)計）人: 魏輝;李茹楊;趙雅倩;李仁剛
• 申請（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類號: H04N13/275
• 分類號: H04N13/275;H04N13/122;G06T17/00
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 劉新雷

1.一種自由視點圖像生成方法，其特征在于，包括：

根據(jù)于同一時刻對同一目標采集的RGB圖像和深度數(shù)據(jù)進行三維重建，得到被掃描場景的三維虛擬模型；

當(dāng)接收到用戶對虛擬視點的選擇指令，根據(jù)所述三維虛擬模型的格式和待觀測虛擬視點數(shù)據(jù)生成初始虛擬視點圖像；

將基于所述初始虛擬視點圖像生成的用于反映當(dāng)前重建結(jié)果質(zhì)量和后續(xù)掃描操作建議的反饋信息展示給用戶，以使用戶基于所述反饋信息調(diào)整掃描參數(shù)，并響應(yīng)用戶每一次參數(shù)調(diào)整后的掃描操作直至接收到用戶掃描結(jié)束指令；

利用圖像優(yōu)化算法處理最后掃描得到的結(jié)果數(shù)據(jù)生成自由視點圖像。

2.根據(jù)權(quán)利要求1所述的自由視點圖像生成方法，其特征在于，所述將基于所述初始虛擬視點圖像生成的用于反映當(dāng)前重建結(jié)果質(zhì)量和后續(xù)掃描操作建議的反饋信息展示給用戶包括：

預(yù)先設(shè)置在所述三維虛擬模型的重建過程中計算模型重建中間參數(shù)，所述模型重建中間參數(shù)包括待測目標表面各點法向、當(dāng)前視圖下缺失點的數(shù)量和/或所占比例、當(dāng)前視圖區(qū)域相機位姿估計時的迭代次數(shù)；

獲取所述模型重建中間參數(shù)和當(dāng)前視圖RGB圖像的亮度信息；

將所述模型重建中間參數(shù)和所述亮度信息以沉浸式和可交互的方式展示給用戶。

3.根據(jù)權(quán)利要求2所述的自由視點圖像生成方法，其特征在于，所述將基于所述初始虛擬視點圖像生成的用于反映當(dāng)前重建結(jié)果質(zhì)量和后續(xù)掃描操作建議的反饋信息展示給用戶包括：

預(yù)先設(shè)置在所述三維虛擬模型的重建過程中同時生成點云模型、面元模型和網(wǎng)格模型；

將所述三維虛擬模型、所述點云模型、所述面元模型、所述網(wǎng)格模型和所述初始虛擬視點圖像以沉浸式和可交互的方式展示給用戶。

4.根據(jù)權(quán)利要求1至3任意一項所述的自由視點圖像生成方法，其特征在于，所述將基于所述初始虛擬視點圖像生成的用于反映當(dāng)前重建結(jié)果質(zhì)量和后續(xù)掃描操作建議的反饋信息展示給用戶包括：

預(yù)先構(gòu)建操作建議數(shù)據(jù)庫，所述操作建議數(shù)據(jù)庫包括多條掃描操作建議，每條掃描操作建議根據(jù)當(dāng)前生成的三維虛擬模型和標準虛擬模型的各參數(shù)的差異、當(dāng)前生成的虛擬視點圖像和標準虛擬視點圖像的各參數(shù)的差異共同生成；

獲取所述三維虛擬模型和所述初始虛擬視點圖像的各參數(shù)信息，在所述操作建議數(shù)據(jù)庫中匹配相應(yīng)目標掃描操作建議；

將所述目標掃描操作建議以沉浸式和可交互的方式展示給用戶。

5.根據(jù)權(quán)利要求4所述的自由視點圖像生成方法，其特征在于，所述根據(jù)所述三維虛擬模型的格式和待觀測虛擬視點數(shù)據(jù)生成初始虛擬視點圖像包括：

從所述選擇指令中讀取用戶擬觀察的虛擬視點位置信息和觀察方向，得到虛擬視點位置和位姿數(shù)據(jù)，作為所述待觀測虛擬視點數(shù)據(jù)；

利用光線投射方法或圖像重投影變換方法，根據(jù)所述三維虛擬模型的格式、所述虛擬視點位置和所述位姿數(shù)據(jù)生成所述初始虛擬視點圖像；

其中，所述三維虛擬模型的格式為點云格式或符號距離函數(shù)格式或三角網(wǎng)格格式。

6.一種自由視點圖像生成裝置，其特征在于，包括：

三維重建模塊，用于根據(jù)于同一時刻對同一目標采集的RGB圖像和深度數(shù)據(jù)進行三維重建，得到被掃描場景的三維虛擬模型；

初始視點圖像生成模塊，用于當(dāng)接收到用戶對虛擬視點的選擇指令，根據(jù)所述三維虛擬模型的格式、待觀測虛擬視點數(shù)據(jù)生成初始虛擬視點圖像；

掃描操作調(diào)整模塊，用于將基于所述初始虛擬視點圖像生成的用于反映當(dāng)前重建結(jié)果質(zhì)量和后續(xù)掃描操作建議的反饋信息展示給用戶，以使用戶基于所述反饋信息調(diào)整掃描參數(shù)，并響應(yīng)用戶每一次參數(shù)調(diào)整后的掃描操作直至接收到用戶掃描結(jié)束指令；

最終視圖生成模塊，用于利用圖像優(yōu)化算法處理最后掃描得到的結(jié)果數(shù)據(jù)生成自由視點圖像。