[發明專利]基于競爭注意力融合的深度三維點云分類網絡構建方法

在審

• 申請號: 202110347537.5
• 申請日: 2021-03-31
• 公開（公告）號: CN112990336A
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 達飛鵬;陳涵娟
• 申請（專利權）人: 東南大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F17/16;G06N3/04;G06N3/08
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 許小莉

1.一種基于競爭注意力融合的深度三維點云分類網絡構建方法，其特征在于包括如下步驟：

步驟1：對原始點云數據進行預處理；

步驟2：構建CAF模塊，形成競爭性注意力融合特征抽象層；

步驟3：堆疊兩層競爭性注意力融合特征抽象層，構建深度三維點云分類網絡；

步驟4：將第二層競爭性注意力融合特征抽象層最終輸出的高維特征送入分類器，得到分類結果。

2.根據權利要求1所述的基于競爭注意力融合的深度三維點云分類網絡構建方法，其特征在于：步驟1中所述對原始點云數據進行預處理的過程中，并行批處理B個樣本，對每個樣本的N個原始點云數據進行預處理，具體方法是通過下采樣的方式，對其進行采樣，采樣得到含有N₀個點云數據的采樣結果P_Sample。

3.根據權利要求1所述的基于競爭注意力融合的深度三維點云分類網絡構建方法，其特征在于：步驟2中所述競爭性注意力融合特征抽象層由特征提取層和CAF模塊兩部分組成，首先，特征提取層接收來自競爭性注意力融合特征抽象層的輸入數據D_in，經過多層卷積網提取輸入數據的高維特征F_ext，將輸入數據D_in與高維特征F_ext一同作為CAF模塊的輸入，在CAF模塊中進行特征融合；

所述CAF模塊包含MFSE子模塊和FICSA子模塊：

MFSE子模塊關注不同層級全局特征的提取與融合，MFSE子模塊將輸入CAF模塊的輸入數據與高維特征分別進行池化和編碼操作，其中為實數集，表示實數范圍內維度為N_i×C_i的二維矩陣，N_i為當前階段樣本的點云數，C_i為當前階段樣本的特征通道數，i為不同矩陣維度的5個階段的編號，得到編碼后的特征(N₃＝1為F_MFSE-in的點云數，C₃＝C₁/r為F_MFSE-in的特征通道數)和(N₄＝1為F_MFSE-ext的點云數，C₄＝C₂/r為F_MFSE-ext的特征通道數)，公式如下：

其中P(·)是全局特征聚合的最大池化函數Max pooling，φ(·)是全連接層和Relu激活函數，通道縮放比例r用于調節中間通道數；

然后，將上述兩個編碼特征按通道方向堆疊，得到堆疊結果N₅＝1為F_MFSE-Concat的點云數，C₅＝(C₁+C₂)/r為F_MFSE-Concat的特征通道數，公式如下：

隨后，對該堆疊結果的通道數和特征圖大小通過全連接層進行擴展，擴展至與高維特征F_ext相同維度，將該特征作為MFSE子模塊的輸出F_MFSE，公式如下：

其中為含有歸一化函數Sigmoid的全連接層擴展過程，為MFSE子模塊最終獲得的全局注意力權值；

FICSA子模塊旨在度量特征內在相似度，FICSA子模塊將輸入CAF模塊的高維特征進行1×1點向卷積運算，將每個點所有通道的特征線性映射至三個并行高維特征，公式如下：

其中V(·)、Q(·)、K(·)分別為三個獨立的特征映射函數，獲得三個對應的高級特征，維度均為N₂×C₂,w_i為不同的線性轉換系數，隨后，進行相似度計算，通過點積運算獲得中Q(·)、K(·)之間的關聯，公式如下：

其中A(·)是中間特征內部高維度關系，γ是具有聚合功能的Softmax歸一化函數，是為了減少訓練參數量而設置的可選通道縮放比例系數，最后獲得表征點與點之間特征內在關聯的全局注意力權值F_FICSA，公式為：

F_FICSA＝γ(A(F_ext)V(F_ext)) (6)

其中，V(·)的作用是調節A(·)的特征通道維度，將該特征作為FICSA子模塊的最終輸出

最后，CAF模塊將MFSE子模塊的輸出F_MFSE和FICSA子模塊的輸出F_FICSA進行競爭性權值融合，引入殘差學習，對特征通道權值重分配，公式如下：

F_CAF＝αF_MFSE+βF_FICSA (7)

通過矩陣加法，將全局注意力權值按不同比例系數α、β融合后，獲得最終權值分配系數通過權值重分配和殘差連接得到CAF模塊的輸出

F_Fusion＝F_ext+F_CAFF_ext (8)

CAF模塊的輸出F_Fusion即為競爭性注意力融合特征抽象層的輸出。