[發(fā)明專(zhuān)利]基于多特征整合深度學(xué)習(xí)模型的傾斜攝影點(diǎn)云分類(lèi)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910329481.3
• 申請(qǐng)日: 2019-04-23
• 公開(kāi)（公告）號(hào): CN110110621B
• 公開(kāi)（公告）日: 2022-03-08
• 發(fā)明（設(shè)計(jì)）人: 吳艷蘭;楊輝;王彪
• 申請(qǐng)（專(zhuān)利權(quán)）人: 安徽大學(xué)
• 主分類(lèi)號(hào): G06V20/17
• 分類(lèi)號(hào): G06V20/17;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 安徽順超知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 34120
• 代理人: 周發(fā)軍

1.基于多特征整合深度學(xué)習(xí)模型的傾斜攝影點(diǎn)云分類(lèi)方法，包括“人眼立體識(shí)別經(jīng)驗(yàn)”、“注意的特征整合理論”、“傾斜攝影點(diǎn)云分類(lèi)問(wèn)題”和“視覺(jué)機(jī)制對(duì)點(diǎn)云分類(lèi)方法的優(yōu)化作用觀”，其特征在于，將“人眼立體識(shí)別經(jīng)驗(yàn)”和“注意的特征整合理論”應(yīng)用到“傾斜攝影點(diǎn)云分類(lèi)問(wèn)題”，從而形成“視覺(jué)機(jī)制對(duì)點(diǎn)云分類(lèi)方法的優(yōu)化作用觀”，即點(diǎn)云多分類(lèi)任務(wù)可分解為按地物目標(biāo)注意力強(qiáng)弱順序依次進(jìn)行的點(diǎn)云目標(biāo)識(shí)別，包括以下步驟：

步驟一、顧及視覺(jué)注意力機(jī)制的點(diǎn)云分類(lèi)優(yōu)化流程

在“點(diǎn)云分類(lèi)的立體視覺(jué)注意機(jī)制作用觀”認(rèn)識(shí)基礎(chǔ)上，主要利用深度學(xué)習(xí)和傾斜攝影點(diǎn)云分類(lèi)樣本，進(jìn)一步實(shí)現(xiàn)包括

1)傾斜攝影點(diǎn)云的立體視覺(jué)注意特征分析；

2)傾斜攝影點(diǎn)云場(chǎng)景的注意力計(jì)算方法；

3)研究?jī)A斜攝影不同立體地物目標(biāo)的語(yǔ)義差異和視覺(jué)注意力評(píng)估方法，以及不同立體目標(biāo)注意力評(píng)估方法的對(duì)比研究；

4)從視覺(jué)注意力機(jī)制角度，建立點(diǎn)云分類(lèi)深度學(xué)習(xí)的子任務(wù)分解、串行計(jì)算策略及優(yōu)化流程；

步驟二、識(shí)別目標(biāo)注意力強(qiáng)弱評(píng)估與排序

根據(jù)傾斜攝影點(diǎn)云分類(lèi)任務(wù)所需要識(shí)別的立體地物目標(biāo)、以及對(duì)應(yīng)所建立的點(diǎn)云分類(lèi)樣本庫(kù)，通過(guò)開(kāi)展步驟一，實(shí)現(xiàn)基于深度學(xué)習(xí)的點(diǎn)云立體視覺(jué)注意特征分析方法、以及基于深度學(xué)習(xí)的立體目標(biāo)視覺(jué)注意力評(píng)估方法，并利用這些方法對(duì)所需要識(shí)別的立體地物目標(biāo)進(jìn)行視覺(jué)注意力強(qiáng)弱評(píng)估與排序，以此作為執(zhí)行點(diǎn)云目標(biāo)識(shí)別子任務(wù)的順序；

步驟三、點(diǎn)云場(chǎng)景視覺(jué)注意力機(jī)制過(guò)濾

為提高方法效率，在待分類(lèi)點(diǎn)云進(jìn)入具體的目標(biāo)識(shí)別環(huán)節(jié)之前，利用立體視覺(jué)注意力機(jī)制，對(duì)待識(shí)別的傾斜攝影點(diǎn)云進(jìn)行點(diǎn)云過(guò)濾，去除明顯不可能是識(shí)別目標(biāo)的點(diǎn)云數(shù)據(jù)，主要思路是利用步驟一所研究的基于深度學(xué)習(xí)的點(diǎn)云立體視覺(jué)注意特征分析及注意力計(jì)算方法，對(duì)點(diǎn)云進(jìn)行待識(shí)別目標(biāo)的視覺(jué)注意力指數(shù)計(jì)算，并將大于某閾值的點(diǎn)云作為待識(shí)別點(diǎn)云，進(jìn)入具體的目標(biāo)識(shí)別環(huán)節(jié)；

步驟四、前注意階段--點(diǎn)云的初級(jí)特征描述及自學(xué)習(xí)子模型

主要包括

1)分析前注意階段傾斜攝影點(diǎn)云的初級(jí)特征感知規(guī)律；

2)構(gòu)建傾斜攝影點(diǎn)云初級(jí)特征描述算法，主要包括點(diǎn)云幾何形狀特征、點(diǎn)云顏色特征、點(diǎn)云紋理特征三類(lèi)特征；

3)以點(diǎn)云幾何形狀特征為重點(diǎn)，開(kāi)展點(diǎn)云尺度不變特征轉(zhuǎn)換PointSIFT、點(diǎn)云法向量、3D霍夫變換典型方法的對(duì)比研究，從目標(biāo)類(lèi)型、識(shí)別精度、模型效率方面進(jìn)行分析對(duì)比，研究與識(shí)別目標(biāo)類(lèi)型相匹配的幾何形狀特征具體計(jì)算的優(yōu)化算法；

4)利用DenseNet網(wǎng)絡(luò)思想，研究?jī)A斜攝影點(diǎn)云初級(jí)特征自學(xué)習(xí)DenseCNNs子模型：針對(duì)點(diǎn)云幾何形狀特征、點(diǎn)云顏色特征、點(diǎn)云紋理特征的具體描述算法，分別構(gòu)建點(diǎn)云幾何形狀特征自學(xué)習(xí)的3DShapeDenseCNNs，點(diǎn)云顏色特征自學(xué)習(xí)的3DColorDenseCNNs，以及點(diǎn)云3D紋理自學(xué)習(xí)的3DTextureDenseCNNs；

5)開(kāi)展點(diǎn)云特征自學(xué)習(xí)不同策略的對(duì)比研究：在特征描述算法相同的情況下，構(gòu)建將特征作為常規(guī)CNNs輸入，并與特征自學(xué)習(xí)子模型進(jìn)行對(duì)比研究，驗(yàn)證DenseNet構(gòu)架在特征累積傳遞、模型加速收斂、樣本量減少方面的作用；

步驟五、特征整合階段--傾斜攝影語(yǔ)義目標(biāo)特征及特征整合的深度學(xué)習(xí)子模型

主要包括

1)研究特征整合階段傾斜攝影點(diǎn)云的語(yǔ)義目標(biāo)特征感知規(guī)律；

2)分析前注意階段并行感知的初級(jí)特征與特征整合階段的語(yǔ)義目標(biāo)特征之間的信息傳遞關(guān)系；

3)利用DenseNet模型累積特征傳遞和特征整合機(jī)制，設(shè)計(jì)并構(gòu)架傾斜攝影立體目標(biāo)多特征整合DenseCNNs子模型；

4)利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)機(jī)制，研究?jī)A斜攝影分類(lèi)具體地物目標(biāo)的語(yǔ)義特征及其描述方法，地物目標(biāo)即建筑物、植被、道路6類(lèi)；

5)探索初級(jí)特征與目標(biāo)語(yǔ)義特征之間的映射關(guān)系，研究如何利用地物目標(biāo)語(yǔ)義特征來(lái)優(yōu)化深度學(xué)習(xí)模型；

步驟六、點(diǎn)云目標(biāo)識(shí)別整體模型及點(diǎn)云分類(lèi)系統(tǒng)實(shí)現(xiàn)

主要包括

1)剖析前注意階段并行感知的初級(jí)特征與特征整合階段的語(yǔ)義目標(biāo)特征之間的特征傳遞關(guān)系；

2)利用偽孿生網(wǎng)絡(luò)和DenseNet網(wǎng)絡(luò)的模型構(gòu)架思想，設(shè)計(jì)并實(shí)現(xiàn)支持多特征并行自學(xué)習(xí)及特征整合機(jī)制的點(diǎn)云目標(biāo)識(shí)別DenseCNNs模型；

3)研究?jī)A斜攝影點(diǎn)云分類(lèi)的樣本庫(kù)及其建立方法；

4)結(jié)合具有視覺(jué)注意力機(jī)制的點(diǎn)云分類(lèi)優(yōu)化流程，研究基于注意的特征整合傾斜點(diǎn)云自動(dòng)分類(lèi)方法，并與現(xiàn)有典型點(diǎn)云分類(lèi)模型進(jìn)行分類(lèi)精度、方法魯棒性方面的對(duì)比研究，現(xiàn)有典型點(diǎn)云分類(lèi)模型包括PointNet++、PointCNN、Pointwise CNNs、3DCNN、PointSIFT、So-net網(wǎng)絡(luò)、DGCNN網(wǎng)絡(luò)、NormalNet；

5)方法的魯棒性和適用性研究：利用存在明顯數(shù)據(jù)缺漏、形狀或紋理扭曲、陰影干擾問(wèn)題的數(shù)據(jù)，開(kāi)展方法的魯棒性驗(yàn)證；分城鄉(xiāng)交接帶、城市邊緣區(qū)、中心城區(qū)，或住宅區(qū)、商業(yè)區(qū)、公園不同類(lèi)型城市景觀，以及不同傾斜攝影采集數(shù)據(jù)源，開(kāi)展本項(xiàng)目方法的適用性研究；

步驟七、按目標(biāo)視覺(jué)注意力強(qiáng)弱次序的“目標(biāo)識(shí)別-點(diǎn)云擦除-再識(shí)別”循環(huán)過(guò)程，將步驟三中經(jīng)過(guò)點(diǎn)云場(chǎng)景相對(duì)于待識(shí)別目標(biāo)的視覺(jué)注意力機(jī)制過(guò)濾后的點(diǎn)云作為待識(shí)別點(diǎn)云，并利用支持特征自學(xué)習(xí)和特征整合機(jī)制的點(diǎn)云目標(biāo)深度學(xué)習(xí)識(shí)別模型進(jìn)行具體目標(biāo)識(shí)別，并按目標(biāo)視覺(jué)注意力強(qiáng)弱次序建立“目標(biāo)識(shí)別-點(diǎn)云擦除-再識(shí)別”的點(diǎn)云分類(lèi)目標(biāo)識(shí)別循環(huán)過(guò)程；當(dāng)待識(shí)別目標(biāo)為最后一類(lèi)目標(biāo)，即將剩余點(diǎn)云作為該目標(biāo)識(shí)別結(jié)果，得到全部點(diǎn)云分類(lèi)結(jié)果。