[發明專利]一種基于數據擴容與相似性度量的殘缺點云分類方法

有效

• 申請號: 202110652559.2
• 申請日: 2021-06-11
• 公開（公告）號: CN113298952B
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 張智;王哲;楊建行;王立鵬;何蕓倩
• 申請（專利權）人: 哈爾濱工程大學
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于數據擴容與相似性度量的殘缺點云分類方法，其特征是：包括以下步驟：

S1：對原始點云進行預處理；

該步驟首先對未規范化的數據進行規范化，使得數據范圍始終保持在[-1,1]中，以便于后續任務；

S2：提出了一種面向三維點云的數據擴容方式——隨機區域擦除；

該步驟能夠兼顧學習完整點云及殘缺點云的語義信息，針對完整點云隨機去除部分區域的點云，剝離掉局部信息；這一過程模擬了實際采集點云過程中出現的遮擋、缺失問題，且增加了數據的復雜性和豐富度，增強了網絡的魯棒性與泛化性能；其具體步驟如下：

S21：在訓練過程中，原始點云數據輸入網絡后復制本身獲得與之相同的“復本”作為隨機區域擦除模塊的輸入數據；

S22：隨機區域擦除的方法會在“復本”點集中隨機選擇一個點作為擦除的區域中心；

S23：隨機區域擦除模塊設置了一個擦除的范圍，并隨機選定范圍內的任意一大小作為擦除半徑以形成一個可供擦除的球域；

S24：將擦除球域內的點云數據清除，與此同時模塊需要判斷經過擦除的點云所保留的點數是否滿足后續分類網絡的要求下限，分類網絡的輸入點數為1024，故當擦除后剩余點數不滿1024時，網絡則放棄對該點云數據實行隨機區域擦除；

S3：設計一個點相似性度量模塊，引入注意力機制，完成輔助損失函數的設計；

該步驟中的相似性度量模塊以S2輸出的完整點云和殘缺點云共同作為輸入，設定評價指標判斷二者之間的相似性；對完整點云應用注意力機制獲得不同點之間的權重值，該權重值作為參數參與構建相似性度量損失；相似性損失函數以輔助損失的形式引入總體損失函數，在網絡模型的訓練過程中引入并在網絡的測試環節去除；其具體步驟如下：

S31：將數據量不同的完整點云與殘缺點云共同降采樣，降采樣的方法為最遠點采樣，經過最遠點采樣的完整點云與殘缺點云各保留1024個采樣點；

S32：對下采樣后的完整點云應用注意力機制，以此獲得各個點之間的權重，獲取注意力的公式為：

A＝g(Q_i,W)

其中Q_i＝{q_j|1≤j≤i}代表了完整點云，W是共享多層感知機的可學習權重；

S33：利用點云補全中的評價指標評估殘缺點云與完整點云的關系，該部分主要包括如下步驟：

S331：采用點云補全中的倒角距離CD來評估完整點云Q與殘缺點云P之間的關系，CD表示一個點云中每一個點到另一個點云中與之最近的鄰居點之間的平均距離，由此構成CD損失，其具體公式為：

S332：采用點云補全中的地球移動距離EMD來評估完整點云Q與殘缺點云P之間的關系，EMD距離表示的是一個點云“移動”成另一個點云的最優規劃路徑下的最小消耗，由此構成EMD損失，其具體公式為：

其中φ是一個可以使對應點之間的平均距離最小的雙射，且和的大小必須相同；

S333：將CD損失與EMD損失相結合，CD計算效率高時間復雜度低，EMD對單個點云的個性特征及局部細節有更好的區分度，將二者結合起來共同構建相似性度量損失，該損失函數公式為：

S34：將完整點云經過注意力模塊獲得的權重作為參數，引入完整點云與殘缺點云之間距離d_ij的計算中，d_ij是相似性度量損失的核心部分，其公式如下：

d_ij＝A·||Q-P||

S4：對完整點云和殘缺點云進行分類；

該步驟利用S2得到的擴容后的數據作為分類網絡的輸入，分類網絡部分延續了PointNet++的encoder-decoder分類結構；多層次的特征提取結構捕獲了局部及全局特征，分類損失與相似性度量損失以特定比例結合構成網絡的整體損失函數；其具體步驟如下所示：

S41：將擴容后的完整點云與殘缺點云共同輸入分類網絡實現殘缺點云分類；具體包括步驟如下：

S411：利用PointNet++的編碼部分中的SA層實現特征提取，SA層具體包括Sampling，Grouping，PointNet三個模塊，具體步驟如下：

S4111：SA層中的Sampling模塊首先對輸入模塊的點云進行下采樣，采樣方式是最遠點采樣，采樣點數為1024個點；

S4112：SA層中的Grouping模塊以所選取點為質心，通過鄰域算法選取固定區域內合適數目的點構成局部點集，每個鄰域內選取的點數為32個；

S4113：SA層的PointNet部分則使用最大池化max-pooling作為對稱函數實現點云的排列不變性，使用MLP模塊提取局部特征，該過程的公式如下：

f({x₁,...,x_n})≈g(h(x₁),...,h(x_n))

在該過程中，h代表MLP，g代表max-pooling函數，max-pooling函數表示特征中最大值且滿足置換不變性，該公式為：

max(x₁,x₂,x₃,...)≡max(x_α1,x_α2,x_α3,...),x_i∈R^D

S412：重復兩次S411的過程，逐步獲得不同層次的局部特征及全局特征；

S413：解碼部分將編碼部分所得降采樣得到的全局特征作為輸入引入全連接網絡，并通過Softmax完成分類；

S42：將分類網絡得到的損失函數與S3得到的相似性度量損失相結合組成IPC-Net的損失函數，分類網絡部分的損失函數L_CLS為NLLLoss；相似性度量損失由S333所得，并以輔助函數的形式應用于模型的訓練過程，在測試環節去除；超參數alpha用于均衡兩種損失，alpha值經由實驗確定為0.05，IPC-Net的損失函數為：

L_CON＝0.95L_CLS+0.05L_SM。