[發(fā)明專利]一種自適應(yīng)視角的級聯(lián)網(wǎng)絡(luò)三維重建方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110652493.7
• 申請日: 2021-06-11
• 公開（公告）號: CN113284251B
• 公開（公告）日: 2022-06-03
• 發(fā)明（設(shè)計）人: 王好謙;劉智方
• 申請（專利權(quán)）人: 清華大學(xué)深圳國際研究生院
• 主分類號: G06T17/20
• 分類號: G06T17/20
• 代理公司: 深圳新創(chuàng)友知識產(chǎn)權(quán)代理有限公司 44223
• 代理人: 江耀純

1.一種自適應(yīng)視角的級聯(lián)網(wǎng)絡(luò)三維重建方法，其特征在于,包括如下步驟：

步驟S1，系統(tǒng)初始化，通過攝像組合體采集一組或多組圖像對，通過解算獲得初始視角，將所得圖像輸入深度級聯(lián)三維重建網(wǎng)絡(luò)，給出多組深度圖，以所述深度圖為依據(jù)將主視圖投影到三維空間中，獲取初始點云候選；

步驟S2，基于由所述步驟S1已提取的所述初始視角和所述初始點云候選進行視角拓展，估計得出不完整、不確定重建區(qū)域，對每個未拓展視角，控制攝像組合體拍攝一組圖像對，對不完整、不確定區(qū)域，控制攝像組合體獲取三組該區(qū)域的圖像，進行深度圖重建和深度圖融合，拓展及優(yōu)化點云，將拓展后的視角作為更新后的初始視角、將優(yōu)化點云作為更新后的初始點云候選，然后所述步驟S2基于初始視角和初始點云候選重復(fù)多次，每次重復(fù)后對點云和視角進行評估，估計是否需要增加視角信息，估計最佳新增視角位置，直到重建結(jié)果滿足完整性要求；

步驟S3，基于點云的點間距離和統(tǒng)計特性進行濾波和抑制，點云候選經(jīng)過處理后生成最終重建點云結(jié)果。

2.根據(jù)權(quán)利要求1所述的自適應(yīng)視角的級聯(lián)網(wǎng)絡(luò)三維重建方法，其特征在于，在所述步驟S1中，所述系統(tǒng)初始化具體包括確定世界坐標(biāo)系原點，使得攝像組合體的傳感器誤差歸零，標(biāo)定高清相機，對目標(biāo)和所述攝像組合體位置進行初始化。

3.根據(jù)權(quán)利要求1所述的自適應(yīng)視角的級聯(lián)網(wǎng)絡(luò)三維重建方法，其特征在于，在所述步驟S1中，所述通過解算獲得初始視角具體包括依據(jù)所述攝像組合體上各高精度傳感器給出的位置信號，結(jié)合拍攝間運動關(guān)系，解算相機位姿，作為初始視角。

4.根據(jù)權(quán)利要求2所述的自適應(yīng)視角的級聯(lián)網(wǎng)絡(luò)三維重建方法，其特征在于，在所述步驟S1中，由深度圖獲取點云的具體方式為：取主視角及其深度圖，將二維點坐標(biāo)與深度一起，結(jié)合所述高清相機與世界坐標(biāo)系間關(guān)系，求解當(dāng)前二維點在三維世界坐標(biāo)系下位置，能夠獲得當(dāng)前視角下的物體表面部分點云。

5.根據(jù)權(quán)利要求1所述的自適應(yīng)視角的級聯(lián)網(wǎng)絡(luò)三維重建方法，其特征在于，在所述步驟S2中，基于所述初始視角和所述初始點云候選進行視角拓展具體包括使用圖神經(jīng)網(wǎng)絡(luò)將點云的顏色信息經(jīng)過多層感知機處理后和位置拼接進行編碼作為圖初始節(jié)點，以位置點積為近鄰判定標(biāo)準(zhǔn)，排除切割目標(biāo)的點對連接后，生成圖邊，使用自注意力機制得出邊上傳遞的信息并經(jīng)一個多層感知機后對初始節(jié)點進行更新，網(wǎng)絡(luò)迭代多次后輸出衡量節(jié)點鄰域點豐富程度和法線預(yù)測的編碼，選取其中豐富度最小的一個或多個進行視角拓展。

6.根據(jù)權(quán)利要求1所述的自適應(yīng)視角的級聯(lián)網(wǎng)絡(luò)三維重建方法，其特征在于，在所述步驟S2中，初始高清相機位置在人工初始化后估計出的球殼上，使用隨機策略在球殼上生成三維點，直到所述三維點滿足與已拓展高清相機位置間的距離約束或超出隨機生成次數(shù)約束，以實現(xiàn)多樣性的視角拓展。

7.根據(jù)權(quán)利要求1所述的自適應(yīng)視角的級聯(lián)網(wǎng)絡(luò)三維重建方法，其特征在于，在所述步驟S2中，所述估計得出不完整、不確定重建區(qū)域具體包括由區(qū)域完整性評價指標(biāo)和區(qū)域不確定性估計得出不完整、不確定重建區(qū)域。

8.根據(jù)權(quán)利要求1所述的自適應(yīng)視角的級聯(lián)網(wǎng)絡(luò)三維重建方法，其特征在于，在所述步驟S2中，所述進行深度圖重建和深度圖融合具體包括依據(jù)相機間位置關(guān)系獲取近鄰視圖，選取滿足閾值要求的所述近鄰視圖與新拓展視圖一同輸入所述深度級聯(lián)三維重建網(wǎng)絡(luò)獲得深度圖。

9.根據(jù)權(quán)利要求5所述的自適應(yīng)視角的級聯(lián)網(wǎng)絡(luò)三維重建方法，其特征在于，在所述步驟S3中，基于點云的點間距離和統(tǒng)計特性進行抑制具體包括將某一位置鄰域內(nèi)顏色位置編碼相近的點云進行合并，并記錄合并點云個數(shù)，由局部點間方向叉乘的平均值估計物體表面法線方向，在該方向上進行非極大值抑制，排除合并點數(shù)少的點。

10.根據(jù)權(quán)利要求1所述的自適應(yīng)視角的級聯(lián)網(wǎng)絡(luò)三維重建方法，其特征在于，在所述步驟S3中，基于點云的點間距離和統(tǒng)計特性進行濾波具體包括使用三維腐蝕操作剔除離群點，進行噪聲濾波。