[發(fā)明專利]一種基于回歸網(wǎng)絡(luò)的三維室內(nèi)結(jié)構(gòu)圖估計(jì)方法

在審

• 申請?zhí)枺?/td>: 202211701793.0
• 申請日: 2022-12-28
• 公開（公告）號: CN116051735A
• 公開（公告）日: 2023-05-02
• 發(fā)明（設(shè)計(jì)）人: 顏成鋼;汪奇挺;朱尊杰;魏宇鑫;傅晟;高宇涵;孫垚棋;陳楚翹;王鴻奎;王廷宇;殷海兵;張繼勇;李宗鵬;趙治棟
• 申請（專利權(quán)）人: 杭電（麗水）研究院有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/13;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.一種基于回歸網(wǎng)絡(luò)的三維室內(nèi)結(jié)構(gòu)圖估計(jì)方法，其特征在于，包括以下步驟：

步驟(1)、基于Pointnet++的點(diǎn)云特征提取；

步驟(2)、通過最遠(yuǎn)點(diǎn)采樣選取采樣點(diǎn)，通過采樣點(diǎn)篩選網(wǎng)絡(luò)進(jìn)行篩選，根據(jù)篩選得到的最近鄰采樣點(diǎn)構(gòu)建候選角點(diǎn)點(diǎn)簇；

步驟(3)、計(jì)算候選角點(diǎn)點(diǎn)簇中距離質(zhì)心最近的點(diǎn)，通過角點(diǎn)回歸網(wǎng)絡(luò)得到回歸后的點(diǎn)坐標(biāo)，也即是候選角點(diǎn)；

步驟(4)、根據(jù)獲取的候選角點(diǎn)實(shí)現(xiàn)三維結(jié)構(gòu)化模型的重建。

2.根據(jù)權(quán)利要求1所述的一種基于回歸網(wǎng)絡(luò)的三維室內(nèi)結(jié)構(gòu)圖估計(jì)方法，其特征在于，步驟(1)具體方法如下：

使用PointNet++模塊作為點(diǎn)云特征學(xué)習(xí)的backbone，進(jìn)行點(diǎn)云特征提取；經(jīng)過點(diǎn)云的局部特征提取，每個(gè)點(diǎn)的維度從3維的坐標(biāo)維度增加到3+C維，增加的C維特征是通過對整個(gè)場景的周邊感知獲得的局部特征。

3.根據(jù)權(quán)利要求2所述的一種基于回歸網(wǎng)絡(luò)的三維室內(nèi)結(jié)構(gòu)圖估計(jì)方法，其特征在于，步驟(2)具體方法如下；

從原始點(diǎn)云中經(jīng)過最遠(yuǎn)點(diǎn)采樣FPS選取出M個(gè)采樣點(diǎn)；具體的實(shí)現(xiàn)過程是，F(xiàn)PS從原始點(diǎn)云中隨機(jī)抽樣的一個(gè)點(diǎn)作為第一個(gè)候選點(diǎn)開始，迭代地選擇距離已選點(diǎn)最遠(yuǎn)的點(diǎn)納入候選，直到選擇M個(gè)采樣點(diǎn)；

采樣點(diǎn)均勻的分布在建筑點(diǎn)云的外部邊界上，在采樣點(diǎn)中不一定包括角點(diǎn)，但是可以通過采樣點(diǎn)搜索近鄰的點(diǎn)去尋找角點(diǎn)；首先，確定真值點(diǎn)個(gè)數(shù)M1(M1M)，通過采樣點(diǎn)篩選網(wǎng)絡(luò)確定采樣點(diǎn)中距離真值點(diǎn)最近的M1個(gè)最近鄰采樣點(diǎn)；

在得到M1個(gè)最近鄰采樣點(diǎn)后，基于M1個(gè)最近鄰采樣點(diǎn)，尋找距離每個(gè)點(diǎn)最近鄰的S-1個(gè)點(diǎn)形成點(diǎn)云簇團(tuán)即候選角點(diǎn)點(diǎn)簇。

4.根據(jù)權(quán)利要求3所述的一種基于回歸網(wǎng)絡(luò)的三維室內(nèi)結(jié)構(gòu)圖估計(jì)方法，其特征在于，步驟(3)具體方法如下；

在該階段中，計(jì)算點(diǎn)云簇團(tuán)中距離質(zhì)心最近的點(diǎn)，使用該點(diǎn)在訓(xùn)練過程中迭代的趨近真值點(diǎn)來獲得候選角點(diǎn)；使用FPS之前的特征點(diǎn)跳躍鏈接到點(diǎn)云簇團(tuán)，得到點(diǎn)簇?cái)?shù)量為M1，點(diǎn)簇中點(diǎn)數(shù)量為S，特征點(diǎn)通道數(shù)為3+C的數(shù)據(jù)；通過角點(diǎn)回歸網(wǎng)絡(luò)，用質(zhì)心和真值點(diǎn)的距離、方向向量的值作為監(jiān)督數(shù)據(jù)訓(xùn)練4維偏移量，再以質(zhì)心為起始點(diǎn)，以偏移量為基準(zhǔn)，進(jìn)行平移得到候選角點(diǎn)，使角點(diǎn)逐步接近真值點(diǎn)。

5.根據(jù)權(quán)利要求4所述的一種基于回歸網(wǎng)絡(luò)的三維室內(nèi)結(jié)構(gòu)圖估計(jì)方法，其特征在于，步驟(4)、具體方法如下；

在該階段中，得到了步驟(3)輸出的候選角點(diǎn)，由建筑先驗(yàn)信息可知，天花板角點(diǎn)和地板角點(diǎn)一般是一一對應(yīng)的關(guān)系，因此，先繪制天花板地板平面，然后依次連接天花板地板平面的角點(diǎn)，可以形成房間3D模型；繪制天花板地板平面是使用旅行商問題解決思路，計(jì)算出最短路徑下所有節(jié)點(diǎn)的連接順序，將前后的線段延伸至相交得到交點(diǎn)坐標(biāo)，按照角點(diǎn)順序相連形成閉合的多邊形結(jié)構(gòu)；得到天花板、地板平面后，依次連接天花板、地板平面的各個(gè)角點(diǎn)，生成房間3D模型。

6.根據(jù)權(quán)利要求3所述的一種基于回歸網(wǎng)絡(luò)的三維室內(nèi)結(jié)構(gòu)圖估計(jì)方法，其特征在于，所述的采樣點(diǎn)篩選網(wǎng)絡(luò)具體如下：

(1)使用提取特征并最遠(yuǎn)點(diǎn)采樣的點(diǎn)作為輸入，點(diǎn)的數(shù)量為M，通道數(shù)為3+C；

(2)通過加卷積層的方式，對點(diǎn)進(jìn)行特征提取；得到數(shù)量為M，通道數(shù)為3+C的特征點(diǎn)；

a.通過一層卷積層從輸入點(diǎn)集中提取出數(shù)量為M，通道數(shù)為3+C的低級特征點(diǎn)，卷積層用于精煉特征信息但不會改變特征點(diǎn)的數(shù)量大小和通道數(shù)；

b.通過一層BatchNorm1d層，使得在網(wǎng)絡(luò)訓(xùn)練過程中神經(jīng)網(wǎng)絡(luò)的輸入保持相同分布；通過一層F.rule層，將非線性特性引入模型；得到數(shù)量為M，通道數(shù)為3+C的特征點(diǎn)；

c.將步驟b獲取的特征點(diǎn)作為點(diǎn)集，重復(fù)a,b操作一次，得到最終的特征點(diǎn)；

(3)通過一層卷積層從(2)輸出的點(diǎn)特征中提取出數(shù)量為M，通道數(shù)為3的特征點(diǎn)；

(4)通過一層卷積層從(2)輸出的點(diǎn)特征中提取出數(shù)量大小為M，通道數(shù)為2的得分；

(5)根據(jù)M個(gè)最近鄰采樣點(diǎn)和真值點(diǎn)的距離排序的得分，最近的近鄰采樣點(diǎn)得分最高，基于近鄰采樣點(diǎn)得分從(3)中篩選得到M1個(gè)點(diǎn)。

7.根據(jù)權(quán)利要求4所述的一種基于回歸網(wǎng)絡(luò)的三維室內(nèi)結(jié)構(gòu)圖估計(jì)方法，其特征在于，所述的角點(diǎn)回歸網(wǎng)絡(luò)具體如下：

(1)使用經(jīng)過跳躍鏈接特征后的距離點(diǎn)簇質(zhì)心最近的點(diǎn)集作為輸入，點(diǎn)的數(shù)量大小為M1，通道數(shù)為3+C；

(2)通過加卷積層的方式，對點(diǎn)進(jìn)行特征提取；得到數(shù)量為M1，通道數(shù)為3+C的特征點(diǎn)

a.通過一層卷積層從輸入點(diǎn)集中提取出數(shù)量為M1，通道數(shù)為3+C的低級特征點(diǎn)，卷積層用于精煉特征信息但不會改變特征點(diǎn)的數(shù)量大小和通道數(shù)；

b.通過一層BatchNorm1d層，使得在網(wǎng)絡(luò)訓(xùn)練過程中神經(jīng)網(wǎng)絡(luò)的輸入保持相同分布；通過一層F.rule層，將非線性特性引入模型；得到數(shù)量為M1，通道數(shù)為3+C的特征點(diǎn)；

c.將步驟b獲取的特征點(diǎn)作為點(diǎn)集，重復(fù)a,b操作一次，得到最終的特征點(diǎn)；

(3)通過一層卷積層從點(diǎn)集中提取出數(shù)量為M1，通道數(shù)為3的特征，將特征向量加在點(diǎn)坐標(biāo)中，更新點(diǎn)坐標(biāo),也即是回歸后的點(diǎn)坐標(biāo)；

Loss是質(zhì)心和真值點(diǎn)的方向向量與距離真值點(diǎn)的距離。