[發(fā)明專利]一種面向場景的三維重建視點規(guī)劃方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110877752.6
• 申請日: 2021-08-01
• 公開（公告）號: CN113724369A
• 公開（公告）日: 2021-11-30
• 發(fā)明（設(shè)計）人: 石啟新;張瀟;張濤;王小波;張玉偉;胡英坤
• 申請（專利權(quán)）人: 國網(wǎng)江蘇省電力有限公司徐州供電分公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/62;G06K9/46
• 代理公司: 長沙睿翔專利代理事務(wù)所(普通合伙) 43237
• 代理人: 周松華;孫建霞

1.一種面向場景的三維重建視點規(guī)劃方法，其特征在于，包括以下步驟：

S1、根據(jù)場景的多視角圖像集進行場景的初始三維重建，以形成初始三維重建模型；

S2、將多視角圖像的每個觀察視角作為被測視角，采用鄰域彩色圖像和所對應(yīng)的深度圖計算被測視角下的合成圖像，計算合成圖像的空洞面積以及合成圖像與被測視角的誤差，根據(jù)空洞面積和誤差計算質(zhì)量評價分?jǐn)?shù)，將質(zhì)量評價分?jǐn)?shù)大于第一設(shè)定閥值的圖像作為冗余視點；

S3、將空洞面積大于第二設(shè)定閥值的圖像虛擬視點作為候選視點，并在候選視點所在的位置添加實際圖片；

S4、排除步驟S2中的冗余視點并將步驟S3中添加的實際圖片配準(zhǔn)到步驟S1中的初始三維重建模型中。

2.根據(jù)權(quán)利要求1所述的面向場景的三維重建視點規(guī)劃方法，其特征在于，所述步驟S1具體包括：

S10、對場景的多視角圖像集I＝{I₁,I₂,I₃,...I_n}的每一關(guān)鍵幀進行SIFT特征點提取，獲得F＝{F₁,F₂,F₃,...F_n}，其中F_i為圖像I_i所對應(yīng)的特征點集，對關(guān)鍵幀間的特征點進行匹配，根據(jù)匹配結(jié)果，基于匹配特征點使用SFM方法進行稀疏三維重建和相機位姿的恢復(fù)，計算每一輸入圖像I_i∈I的相機參數(shù)；

S11、對輸入圖像進行降采樣，在降采樣的圖像數(shù)據(jù)上執(zhí)行多視角立體三維重建算法，計算每一視角i的深度圖后對深度圖進行融合獲得初始三維重建模型S^L。

3.根據(jù)權(quán)利要求2所述的面向場景的三維重建視點規(guī)劃方法，其特征在于，所述步驟S10中的相機參數(shù)包括相機內(nèi)參數(shù)和相機外參數(shù)，所述相機內(nèi)參數(shù)為其中f焦距、c_x，c_y主點，所述相機外參數(shù)為旋轉(zhuǎn)R_i和平移t_i。

4.根據(jù)權(quán)利要求2所述的面向場景的三維重建視點規(guī)劃方法，其特征在于，所述步驟S10中還包括對稀疏點云模型進行捆綁調(diào)整以優(yōu)化所有相機的參數(shù)和三維點云的位置

5.根據(jù)權(quán)利要求2所述的面向場景的三維重建視點規(guī)劃方法，其特征在于，所述步驟11中還包括計算初始三維模型S^L在各個輸入視角下的投影深度圖D＝{D₁,D₂,D₃,...D_n}。

6.根據(jù)權(quán)利要求1所述的面向場景的三維重建視點規(guī)劃方法，其特征在于，所述步驟S2包括：

S20、使用視角j的鄰域彩色圖像集及對應(yīng)的深度圖對于任意像素p∈I_j計算從鄰域視角t到p的彩色值投影并對所有鄰域視角的顏色值進行平均其中n₁為鄰域視點數(shù)量，為像素p經(jīng)由鄰域視角投影的像素值；

S21、根據(jù)步驟S20計算視角j下的合成圖像

S22、根據(jù)合成圖像中包含的缺失區(qū)域的像素數(shù)量計算空洞面積L_c，根據(jù)合成圖像與視角j下的原始觀察圖像I_j的差異計算誤差質(zhì)量評價分?jǐn)?shù)c_j＝L_d+λL_d，其中λ為自定義的常數(shù)；

S23、對質(zhì)量評價分?jǐn)?shù)c_j進行排序，將質(zhì)量評價分?jǐn)?shù)c_j大于第一設(shè)定閥值x的作為冗余視點。