[發(fā)明專利]一種基于數(shù)據(jù)擴(kuò)容與相似性度量的殘缺點(diǎn)云分類方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110652559.2
• 申請(qǐng)日: 2021-06-11
• 公開（公告）號(hào): CN113298952B
• 公開（公告）日: 2022-07-15
• 發(fā)明（設(shè)計(jì)）人: 張智;王哲;楊建行;王立鵬;何蕓倩
• 申請(qǐng)（專利權(quán)）人: 哈爾濱工程大學(xué)
• 主分類號(hào): G06T17/20
• 分類號(hào): G06T17/20;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明屬于三維計(jì)算機(jī)視覺領(lǐng)域，具體涉及到一種基于數(shù)據(jù)擴(kuò)容與相似性度量的面向殘缺點(diǎn)云分類網(wǎng)絡(luò)。本發(fā)明要解決的問題是如何將將完整的點(diǎn)云分類網(wǎng)絡(luò)擴(kuò)展到殘缺點(diǎn)云，從而為面向殘缺點(diǎn)云的分類問題提供優(yōu)秀的解決方案。為此本發(fā)明在傳統(tǒng)的基于點(diǎn)的分類網(wǎng)絡(luò)的基礎(chǔ)上，針對(duì)殘缺點(diǎn)云提出了一種新的分類網(wǎng)絡(luò)IPC?Net，可以基于數(shù)據(jù)擴(kuò)容及相似性度量解決殘缺點(diǎn)云分類精度低及網(wǎng)絡(luò)魯棒性差的問題，此外利用輔助損失函數(shù)結(jié)合注意力機(jī)制幫助解決相關(guān)問題。

技術(shù)領(lǐng)域

本發(fā)明屬于三維計(jì)算機(jī)視覺領(lǐng)域，具體涉及到一種基于數(shù)據(jù)擴(kuò)容與相似性度量的面向殘缺點(diǎn)云分類方法。

背景技術(shù)

點(diǎn)云不同于二維圖像規(guī)則的網(wǎng)格結(jié)構(gòu)，而是一組無序的3D點(diǎn)，所以點(diǎn)云分類具有一定挑戰(zhàn)性。近年來出現(xiàn)了諸多應(yīng)用于三維點(diǎn)云的深度學(xué)習(xí)方法。這些方法對(duì)點(diǎn)云進(jìn)行精準(zhǔn)的分類通常依賴于數(shù)據(jù)的豐富性和可用性，相較于二維圖像領(lǐng)域中常用的大體量數(shù)據(jù)集MS COCO和ImageNet數(shù)據(jù)集，三維點(diǎn)云數(shù)據(jù)集的規(guī)模通常要小很多，且樣本的豐富度不足。常用的點(diǎn)云分類數(shù)據(jù)集結(jié)構(gòu)完整表義清晰，而實(shí)際應(yīng)用中的點(diǎn)云數(shù)據(jù)來源主要有兩種方式：第一是利用激光雷達(dá)通過測(cè)量傳感器和被測(cè)物體之間的距離的方式，掃描獲取離散點(diǎn)云數(shù)據(jù)；第二是利用RGB-D相機(jī)通過測(cè)量相機(jī)與物體之間的距離的方式獲取點(diǎn)云數(shù)據(jù)。無論以哪種方式采集數(shù)據(jù)，由于場(chǎng)景中物體間遮擋、光線反射、傳感器分辨率和視角的限制，會(huì)造成幾何和語義信息的丟失，導(dǎo)致點(diǎn)云出現(xiàn)不同程度的殘缺。在識(shí)別分類中，區(qū)域性的缺失會(huì)導(dǎo)致點(diǎn)云丟失部分特征，影響形狀分類的精度，例如在VKITT數(shù)據(jù)集中，某些被攔腰截?cái)嗟姆课萑菀妆痪W(wǎng)絡(luò)錯(cuò)誤判定為卡車。

發(fā)明內(nèi)容

本發(fā)明的目的在于如何將將完整的點(diǎn)云分類網(wǎng)絡(luò)擴(kuò)展到殘缺點(diǎn)云，從而為面向殘缺點(diǎn)云的分類問題提供優(yōu)秀的解決方案的一種基于數(shù)據(jù)擴(kuò)容與相似性度量的面向殘缺點(diǎn)云的分類方法。

本發(fā)明的目的是這樣實(shí)現(xiàn)的：

一種基于數(shù)據(jù)擴(kuò)容與相似性度量的殘缺點(diǎn)云分類方法，包括以下步驟：

S1：對(duì)原始點(diǎn)云進(jìn)行預(yù)處理；

該步驟首先對(duì)未規(guī)范化的數(shù)據(jù)進(jìn)行規(guī)范化，使得數(shù)據(jù)范圍始終保持在[-1,1]中，以便于后續(xù)任務(wù)；

S2：提出了一種面向三維點(diǎn)云的數(shù)據(jù)擴(kuò)容方式——隨機(jī)區(qū)域擦除；

該步驟能夠兼顧學(xué)習(xí)完整點(diǎn)云及殘缺點(diǎn)云的語義信息，針對(duì)完整點(diǎn)云隨機(jī)去除部分區(qū)域的點(diǎn)云，剝離掉局部信息；這一過程模擬了實(shí)際采集點(diǎn)云過程中出現(xiàn)的遮擋、缺失等問題，且增加了數(shù)據(jù)的復(fù)雜性和豐富度，增強(qiáng)了網(wǎng)絡(luò)的魯棒性與泛化性能；其具體步驟如下所示：

S21：在訓(xùn)練過程中，原始點(diǎn)云數(shù)據(jù)輸入網(wǎng)絡(luò)后復(fù)制本身獲得與之相同的“復(fù)本”作為隨機(jī)區(qū)域擦除模塊的輸入數(shù)據(jù)；

S22：隨機(jī)區(qū)域擦除的方法會(huì)在“復(fù)本”點(diǎn)集中隨機(jī)選擇一個(gè)點(diǎn)作為擦除的區(qū)域中心；

S23：隨機(jī)區(qū)域擦除模塊設(shè)置了一個(gè)擦除的范圍，并隨機(jī)選定范圍內(nèi)的任意一大小作為擦除半徑以形成一個(gè)可供擦除的球域；

S24：將擦除球域內(nèi)的點(diǎn)云數(shù)據(jù)清除，與此同時(shí)模塊需要判斷經(jīng)過擦除的點(diǎn)云所保留的點(diǎn)數(shù)是否滿足后續(xù)分類網(wǎng)絡(luò)的要求下限，分類網(wǎng)絡(luò)的輸入點(diǎn)數(shù)為1024，故當(dāng)擦除后剩余點(diǎn)數(shù)不滿1024時(shí)，網(wǎng)絡(luò)則放棄對(duì)該點(diǎn)云數(shù)據(jù)實(shí)行隨機(jī)區(qū)域擦除；

S3：設(shè)計(jì)一個(gè)點(diǎn)相似性度量模塊，引入注意力機(jī)制，完成輔助損失函數(shù)的設(shè)計(jì)；

該步驟中的相似性度量模塊以S2輸出的完整點(diǎn)云和殘缺點(diǎn)云共同作為輸入，設(shè)定評(píng)價(jià)指標(biāo)判斷二者之間的相似性；對(duì)完整點(diǎn)云應(yīng)用注意力機(jī)制獲得不同點(diǎn)之間的權(quán)重值，該權(quán)重值作為參數(shù)參與構(gòu)建相似性度量損失；相似性損失函數(shù)以輔助損失的形式引入總體損失函數(shù)，在網(wǎng)絡(luò)模型的訓(xùn)練過程中引入并在網(wǎng)絡(luò)的測(cè)試環(huán)節(jié)去除；其具體步驟如下：

S31：將數(shù)據(jù)量不同的完整點(diǎn)云與殘缺點(diǎn)云共同降采樣，降采樣的方法為最遠(yuǎn)點(diǎn)采樣，