[發明專利]一種面向場景的三維重建視點規劃方法及系統

在審

• 申請號: 202110877752.6
• 申請日: 2021-08-01
• 公開（公告）號: CN113724369A
• 公開（公告）日: 2021-11-30
• 發明（設計）人: 石啟新;張瀟;張濤;王小波;張玉偉;胡英坤
• 申請（專利權）人: 國網江蘇省電力有限公司徐州供電分公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/62;G06K9/46
• 代理公司: 長沙睿翔專利代理事務所(普通合伙) 43237
• 代理人: 周松華;孫建霞

本發明公開了一種面向場景的三維重建視點規劃方法及系統。方法包括：S1、根據場景的多視角圖像集進行場景的初始三維重建；S2、將多視角圖像的每個觀察視角作為被測視角，采用鄰域彩色圖像和所對應的深度圖計算被測視角下的合成圖像，計算合成圖像的空洞面積以及合成圖像與被測視角的誤差，根據空洞面積和誤差計算質量評價分數，將質量評價分數大于第一設定閥值的圖像作為冗余視點；S3、將空洞面積大于第二設定閥值的圖像虛擬視點作為候選視點，并在候選視點所在的位置添加實際圖片；S4、排除冗余視點并將新添加的實際圖片配準到步驟S1中的初始三維重建模型中。本發明通過減少冗余視點和在合適的位置增加視點，實現高效和高完整度的三維重建。

技術領域

本發明涉及計算機視覺技術領域，更具體地說，特別涉及一種面向場景的三維重建視點規劃方法及系統。

背景技術

基于圖像的場景三維重建方法是通過拍攝場景的多角度圖像數據對場景進行建模。當采用相機對場景進行手持拍攝的時候，不可避免的包含一些遺漏區域，導致在某些場景區域缺少足夠的觀察圖像，導致不完整的重建結果。同時，對于一些區域的照片捕獲也可能過于稠密，較高的數據冗余容易導致更長的計算視角。針對這些問題，有必要開發一種面向場景的三維重建視點規劃方法及系統，可以通過評價經由三維重建合成的圖像質量來對當前視點進行刪減和增加，提升重建速度同時增加重建的完整度。

發明內容

本發明的目的在于提供一種面向場景的三維重建視點規劃方法及系統，以克服現有技術所存在的缺陷。

為了達到上述目的，本發明采用的技術方案如下：

與現有技術相比，本發明的優點在于：本發明

一種面向場景的三維重建視點規劃方法，包括以下步驟：

S1、根據場景的多視角圖像集進行場景的初始三維重建，以形成初始三維重建模型；

S2、將多視角圖像的每個觀察視角作為被測視角，采用鄰域彩色圖像和所對應的深度圖計算被測視角下的合成圖像，計算合成圖像的空洞面積以及合成圖像與被測視角的誤差，根據空洞面積和誤差計算質量評價分數，將質量評價分數大于第一設定閥值的圖像作為冗余視點；

S3、將空洞面積大于第二設定閥值的圖像虛擬視點作為候選視點，并在候選視點所在的位置添加實際圖片；

S4、排除步驟S2中的冗余視點并將步驟S3中添加的實際圖片配準到步驟S1中的初始三維重建模型中。

進一步地，所述步驟S1具體包括：

S10、對場景的多視角圖像集I＝{I₁,I₂,I₃,…I_n}的每一關鍵幀進行SIFT特征點提取，獲得F＝{F₁,F₂,F₃,…F_n}，其中F_i為圖像I_i所對應的特征點集，對關鍵幀間的特征點進行匹配，根據匹配結果，基于匹配特征點使用SFM方法進行稀疏三維重建和相機位姿的恢復，計算每一輸入圖像I_i∈I的相機參數；

S11、對輸入圖像進行降采樣，在降采樣的圖像數據上執行多視角立體三維重建算法，計算每一視角i的深度圖后對深度圖進行融合獲得初始三維重建模型S^L。

進一步地，所述步驟S10中的相機參數包括相機內參數和相機外參數，所述相機內參數為其中f焦距、c_x，c_y主點，所述相機外參數為旋轉R_i和平移t_i。

進一步地，所述步驟S10中還包括對稀疏點云模型進行捆綁調整以優化所有相機的參數和三維點云的位置