[發(fā)明專(zhuān)利]用于從點(diǎn)云中動(dòng)態(tài)選擇特征相關(guān)點(diǎn)的深度神經(jīng)網(wǎng)絡(luò)的方法和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201980070070.5
• 申請(qǐng)日: 2019-11-13
• 公開(kāi)（公告）號(hào): CN112912928A
• 公開(kāi)（公告）日: 2021-06-04
• 發(fā)明（設(shè)計(jì)）人: 埃赫桑·內(nèi)扎達(dá)里亞;伊赫桑·塔哈維;劉冰冰
• 申請(qǐng)（專(zhuān)利權(quán)）人: 華為技術(shù)有限公司
• 主分類(lèi)號(hào): G06T7/33
• 分類(lèi)號(hào): G06T7/33
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

描述了用于從點(diǎn)云中動(dòng)態(tài)選擇特征相關(guān)點(diǎn)的深度神經(jīng)網(wǎng)絡(luò)的方法和系統(tǒng)。接收布置在點(diǎn)?特征矩陣中的多個(gè)多維特征向量。所述點(diǎn)?特征矩陣的每一行對(duì)應(yīng)于一個(gè)相應(yīng)多維特征向量，所述點(diǎn)?特征矩陣的每一列對(duì)應(yīng)于相應(yīng)的特征。每個(gè)多維特征向量代表點(diǎn)云中的相應(yīng)無(wú)序數(shù)據(jù)點(diǎn)，每個(gè)多維特征向量包括相應(yīng)的多個(gè)特征相關(guān)值，每個(gè)特征相關(guān)值代表相應(yīng)的特征的相關(guān)程度。生成具有選定的多個(gè)特征相關(guān)向量的最大縮減矩陣。對(duì)于每個(gè)相應(yīng)的特征，在所述點(diǎn)?特征矩陣中識(shí)別具有與相應(yīng)的特征相關(guān)聯(lián)的最大特征相關(guān)值的相應(yīng)多維特征向量，從而來(lái)選擇特征相關(guān)向量。將所述最大縮減矩陣輸出給至少一個(gè)神經(jīng)網(wǎng)絡(luò)層。

技術(shù)領(lǐng)域

本申請(qǐng)涉及一種深度神經(jīng)網(wǎng)絡(luò)，其包括用于從點(diǎn)云中動(dòng)態(tài)選擇特征相關(guān)點(diǎn)的至少一個(gè)層。

背景技術(shù)

深度學(xué)習(xí)是一種很有希望解決各個(gè)領(lǐng)域(例如，計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別等)挑戰(zhàn)的方法，是一種基于學(xué)習(xí)人工智能(artificial intelligence，簡(jiǎn)稱(chēng)AI)系統(tǒng)中數(shù)據(jù)表示的機(jī)器學(xué)習(xí)方法。

深度學(xué)習(xí)有利于為對(duì)象分類(lèi)任務(wù)提供有序數(shù)據(jù)的判別信息，例如具有有序像素的二維(two dimensional，簡(jiǎn)稱(chēng)2D)圖像。

三維(three dimensional，簡(jiǎn)稱(chēng)3D)傳感器(例如，紅綠藍(lán)深度(red green blue-depth，簡(jiǎn)稱(chēng)RGB-D)相機(jī)、LIDAR傳感器等)可以捕獲周?chē)h(huán)境有關(guān)3D信息，并在空間中生成數(shù)據(jù)點(diǎn)集合以表示捕獲的3D信息。三維空間中的數(shù)據(jù)點(diǎn)集合在本領(lǐng)域中通常被稱(chēng)為點(diǎn)云，并且作為3D數(shù)據(jù)由3D傳感器提供。

然而，3D數(shù)據(jù)通常是以具有不均勻采樣密度的無(wú)序點(diǎn)的形式呈現(xiàn)。因此，點(diǎn)云是三維空間中具有不規(guī)則形式的一個(gè)數(shù)據(jù)點(diǎn)集合，并且3D數(shù)據(jù)的處理通常會(huì)遇到不規(guī)則采樣的問(wèn)題，例如較高的運(yùn)算成本和對(duì)象分類(lèi)的不準(zhǔn)確。

因此，期望提供一種通過(guò)有效的點(diǎn)特征提取和高準(zhǔn)確度的分類(lèi)將深度學(xué)習(xí)應(yīng)用于無(wú)序點(diǎn)的解決方案，以實(shí)現(xiàn)對(duì)點(diǎn)云數(shù)據(jù)的最先進(jìn)的性能。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┝送ㄟ^(guò)在深度神經(jīng)網(wǎng)絡(luò)中包括至少一個(gè)關(guān)鍵點(diǎn)層(critical pointlayer，簡(jiǎn)稱(chēng)CPL)來(lái)動(dòng)態(tài)選擇關(guān)鍵點(diǎn)的方法和系統(tǒng)。所選擇的關(guān)鍵點(diǎn)可以用于至少一個(gè)全連接層(fully-connected layer，簡(jiǎn)稱(chēng)FCL)中用于分類(lèi)，其中，根據(jù)不同的場(chǎng)景結(jié)合物體的邊界和/或位置，識(shí)別每個(gè)所選擇的關(guān)鍵點(diǎn)并進(jìn)行分類(lèi)。在一些示例中，使用加權(quán)CPL(weighted CPL，簡(jiǎn)稱(chēng)WCPL)，對(duì)關(guān)鍵點(diǎn)的選擇考慮了不同的各個(gè)關(guān)鍵點(diǎn)的加權(quán)或貢獻(xiàn)。在一些示例中，本申請(qǐng)的方法和系統(tǒng)可以用在各種不同的應(yīng)用中，例如自動(dòng)運(yùn)載工具的控制或任何其他基于學(xué)習(xí)的處理系統(tǒng)。深度神經(jīng)網(wǎng)絡(luò)的這種配置可有助于提高分類(lèi)準(zhǔn)確性，并且可以幫助降低復(fù)雜度成本，以完成不同應(yīng)用中的后續(xù)對(duì)象分類(lèi)任務(wù)。

在一些示例方面，本申請(qǐng)描述了一種方法，包括：接收布置在點(diǎn)-特征矩陣中的多個(gè)多維特征向量，其中，所述點(diǎn)-特征矩陣中每一行對(duì)應(yīng)于一個(gè)相應(yīng)多維特征向量，所述點(diǎn)-特征矩陣中每一列對(duì)應(yīng)于相應(yīng)的特征，每個(gè)多維特征向量代表點(diǎn)云中的相應(yīng)無(wú)序數(shù)據(jù)點(diǎn)，每個(gè)多維特征向量包括相應(yīng)的多個(gè)特征相關(guān)值，每個(gè)特征相關(guān)值代表相應(yīng)的特征的相關(guān)程度；生成具有選定的多個(gè)特征相關(guān)向量的最大縮減矩陣，其中，所述最大縮減矩陣中每一行對(duì)應(yīng)于一個(gè)相應(yīng)的特征相關(guān)向量，所述最大縮減矩陣中每一列對(duì)應(yīng)于相應(yīng)的特征，對(duì)于每個(gè)相應(yīng)的特征，在所述點(diǎn)-特征矩陣中識(shí)別具有與相應(yīng)的特征相關(guān)聯(lián)的最大特征相關(guān)值的相應(yīng)多維特征向量，從而來(lái)選擇特征相關(guān)向量；輸出所述最大縮減矩陣，以供深度神經(jīng)網(wǎng)絡(luò)的最終卷積層處理。

根據(jù)上述任意一個(gè)方面/實(shí)施例，所述生成可包括：生成包含多個(gè)識(shí)別的多維特征向量的多個(gè)行索引的索引向量；對(duì)索引向量中的行索引進(jìn)行采樣一直達(dá)到所需數(shù)目，從而生成采樣索引向量；使用所述采樣索引向量中包含的行索引生成所述最大縮減矩陣。

根據(jù)上述任意一個(gè)方面/實(shí)施例，所述采樣是確定性的，所述方法還可包括：在所述采樣之前，以升序?qū)λ鏊饕蛄恐邪男兴饕M(jìn)行排序。