[發(fā)明專(zhuān)利]一種基于預(yù)定義和隨機(jī)視點(diǎn)的多視圖三維形狀識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010101436.5
• 申請(qǐng)日: 2020-02-19
• 公開(kāi)（公告）號(hào): CN111310670A
• 公開(kāi)（公告）日: 2020-06-19
• 發(fā)明（設(shè)計(jì)）人: 郁錢(qián);王躍
• 申請(qǐng)（專(zhuān)利權(quán)）人: 江蘇理工學(xué)院
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京正聯(lián)知識(shí)產(chǎn)權(quán)代理有限公司 32243
• 代理人: 杭行

一種基于預(yù)定義和隨機(jī)視點(diǎn)的多視圖三維形狀識(shí)別方法，開(kāi)發(fā)了一種新穎的多視圖卷積神經(jīng)網(wǎng)絡(luò)Latent?MVCNN(LMVCNN)，使用來(lái)自預(yù)定義或隨機(jī)視點(diǎn)的多個(gè)視圖圖像識(shí)別3D形狀。LMVCNN由三種類(lèi)型的子卷積神經(jīng)網(wǎng)絡(luò)組成。對(duì)于每個(gè)視圖圖像，第一CNN輸出多個(gè)類(lèi)別似然性，第二CNN輸出潛在矢量以幫助第一CNN選擇正確的類(lèi)別似然性。第三CNN輸出從一個(gè)視圖的類(lèi)別可能性到另一視圖的類(lèi)別可能性的轉(zhuǎn)變概率，這進(jìn)一步幫助LMVCNN為每對(duì)視圖圖像找到正確的類(lèi)別可能性。三個(gè)CNN相互協(xié)作以獲得令人滿(mǎn)意的分類(lèi)分?jǐn)?shù)。我們的實(shí)驗(yàn)結(jié)果表明，對(duì)于預(yù)定義和隨機(jī)視點(diǎn)，LMVCNN在ModelNet10和ModelNet40上的3D形狀識(shí)別方面均具有競(jìng)爭(zhēng)優(yōu)勢(shì)，并且當(dāng)視圖圖像的數(shù)量很少時(shí)，其表現(xiàn)出令人鼓舞的性能。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺(jué)領(lǐng)域，具體是一種基于預(yù)定義和隨機(jī)視點(diǎn)的多視圖三維形狀識(shí)別方法。

背景技術(shù)

由于深度學(xué)習(xí)在許多計(jì)算機(jī)視覺(jué)任務(wù)中的出色表現(xiàn)，因此深度神經(jīng)網(wǎng)絡(luò)已應(yīng)用于3D形狀分析。現(xiàn)已經(jīng)提出了用于3D形狀識(shí)別的各種深度網(wǎng)絡(luò)，其基于3D形狀的不同格式，例如視圖，體素，網(wǎng)格和點(diǎn)云。但是，在這些方法中，只有基于視圖的方法才具有出色的性能。Su等人首先提出了用于識(shí)別3D形狀的多視圖卷積神經(jīng)網(wǎng)絡(luò)MVCNN，并開(kāi)發(fā)了視圖合并層以將來(lái)自所有視圖的信息合成為單個(gè)緊湊的3D形狀描述符。視圖池層將max操作應(yīng)用于所有視圖的卷積特征，并丟棄較小的特征值。盡管此視圖池層提供了一種方便的聚合視圖的方法，但它顯然限制了MVCNN的性能改進(jìn)，因?yàn)樗鼪](méi)有充分利用所有視圖信息。

Kanezaki等人提出的RotationNet擴(kuò)展。RotationNet的最后一層為每個(gè)視圖圖像輸出許多類(lèi)別似然，并且每個(gè)類(lèi)別似然由softmax層實(shí)現(xiàn)。RotationNet使用潛在變量作為3D對(duì)象姿態(tài)估計(jì)。但是，潛變量只有一個(gè)維度，其范圍很小。在RotationNet中，可以將潛在變量分配給從1到視圖數(shù)的整數(shù)之一。此外，RotationNet對(duì)預(yù)定義視圖假設(shè)非常敏感。通常，這些方法尚未應(yīng)用于隨機(jī)視點(diǎn)的3D形狀識(shí)別。此外，當(dāng)觀看圖像的數(shù)量很少時(shí)，3D形狀識(shí)別將面臨巨大挑戰(zhàn)。

基于體素的方法通常將3D形狀轉(zhuǎn)換為包含許多體素的體積。因此，可以將CNN擴(kuò)展為3D架構(gòu)以輕松處理體素化形狀。但是，當(dāng)3D體積形狀的分辨率提高時(shí)，體素的總數(shù)將極大地增加，從而無(wú)法處理體積形狀。由于基于體素的方法的局限性，它們的性能通常不如基于視圖的方法。

Qi等人設(shè)計(jì)了一種新型的神經(jīng)網(wǎng)絡(luò)PointNet，它可以直接處理點(diǎn)云，并尊重輸入點(diǎn)的排列不變性。該神經(jīng)網(wǎng)絡(luò)為3D對(duì)象識(shí)別提供了有效的方法。接下來(lái)，Qi等人開(kāi)發(fā)了另一個(gè)層次神經(jīng)網(wǎng)絡(luò)PointNet++，該網(wǎng)絡(luò)遞歸地在輸入點(diǎn)的嵌套子集上使用PointNet。最近，Su等人提出了一個(gè)直接處理點(diǎn)云的處理點(diǎn)云的網(wǎng)絡(luò)，它被表示為高維格子中的稀疏樣本集。點(diǎn)云處理一直是自動(dòng)駕駛中的重要模塊。但是，點(diǎn)云格式易受噪聲干擾，并且缺乏描述局部細(xì)節(jié)的能力。

與上述其他方法相比，基于視圖的3D形狀表示方法具有更好的適應(yīng)性，并且可以更輕松地獲取2D視圖圖像。

發(fā)明內(nèi)容

為了增強(qiáng)CNN的3D形狀識(shí)別功能，可用于預(yù)定義和隨機(jī)視點(diǎn)，并處理少量可用視圖圖像的情況，開(kāi)發(fā)了一種新穎的多視圖卷積神經(jīng)網(wǎng)絡(luò)“Latent-MVCNN”(LMVCNN)，它可以識(shí)別3D形狀，并由三種類(lèi)型的子CNN組成。第一個(gè)CNN為每個(gè)視圖圖像輸出多個(gè)類(lèi)別似然，第二個(gè)CNN輸出一個(gè)隱變量以幫助第一個(gè)CNN選擇正確的類(lèi)別似然。潛在向量的作用類(lèi)似于GVCNN中的視圖分組模塊，但此處用于選擇正確的類(lèi)別可能性。第三CNN輸出從一個(gè)視圖的類(lèi)別可能性到另一視圖的類(lèi)別可能性的轉(zhuǎn)變概率，這進(jìn)一步幫助LMVCNN為每對(duì)視圖圖像找到正確的類(lèi)別可能性。

為實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案是：一種基于預(yù)定義和隨機(jī)視點(diǎn)的多視圖三維形狀識(shí)別方法，按以下步驟實(shí)現(xiàn)：