[發明專利]基于互信息校準點云數據長尾分布的語義分割方法

在審

• 申請號: 202110631495.8
• 申請日: 2021-06-07
• 公開（公告）號: CN113554653A
• 公開（公告）日: 2021-10-26
• 發明（設計）人: 李夢甜;謝源;馬利莊;張志忠
• 申請（專利權）人: 之江實驗室;華東師范大學
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06T5/50;G06T3/40;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 楊小凡

1.基于互信息校準點云數據長尾分布的語義分割方法，其特征在于包括如下步驟：

S1，輸入點云數據；

S2，點云特征提取；

S3，獲取支持大規模輸入的空間位置注意力；

S4，獲取擴展的通道位置注意力；

S5，特征融合，將支持大規模輸入的空間位置注意力和擴展的通道位置注意力輸出的特征圖進行拼接，再進行注意力特征融合后，進行上采樣，使其輸出的點云規模與輸入的點云規模相當；

S6，構建聯合損失函數，強制神經網絡學習輸入點的固有屬性：

表示聯合成本函數，表示失衡調整損失函數，用于進行不平衡和長尾標簽分布的失衡調整，表示占用率回歸損失函數，用于回歸每個點所屬類別的占用大小，表示交叉熵損失函數，用于最終語義分割預測；

S7，點云分割結果輸出。

2.根據權利要求1所述的基于互信息校準點云數據長尾分布的語義分割方法，其特征在于所述S3，包括如下步驟：

S31，從特征提取網絡中獲取輸出特征圖A，并通過A得到不同的特征圖B和C，N表示點數；

S32，對B和A的轉置之間進行矩陣乘法，得到輸出矩陣D，D上的注意力值公式表示如下：

下標i和j分別表示點i和點j，A_j表示特征圖A中的第j個點的位置，B_i表示特征圖B中的第i個點的位置；

S33，將D的轉置，作為瓶頸轉換表示：

F_j＝ReLU(LN(D_j))

其中LN表示歸一化層，而ReLU是激活函數；

S34，將圖D和C之間的矩陣乘法，表示為：

S35，使用比例參數α和β加權聚合后的特征圖E和F，其中α和β是初始化為0的可學習參數，生成空間注意圖G：

G_j＝αE_j+βF_j+A_j。

3.根據權利要求1所述的基于互信息校準點云數據長尾分布的語義分割方法，其特征在于所述S4，包括如下步驟：

S41，在轉置的A和原始A之間執行矩陣乘法，得到注意圖B；

S42，使用B和原始A之間的矩陣乘法來傳播特征圖C，表示為：

其中，M是通道維，下標i，j表示通道i和通道j，C_j表示特征圖C中的第j個位置；

S43，定義跨通道算子以捕獲相鄰通道關系，本地跨通道交互，表示為：

其中，W是一個h×M參數矩陣，h表示跨步時的相鄰通道，σ是S型函數。

S44，設置權重參數λ，并生成頻道關注圖E：

E_j＝λC_j+D_j+A_j。

4.根據權利要求1所述的基于互信息校準點云數據長尾分布的語義分割方法，其特征在于所述S6中的失衡調整損失函數采用最小化softmax交叉熵：

其中，θ表示神經網絡的參數，(x,y)～D表示訓練數據，其中x表示數據，y表示監督信息，D表示分布，p_θ(y∣x)表示未知分布；

設f_y(x；θ)是softmax函數之前的結果，即logit，因此得到：

其中，f_y(x；θ)表示神經網絡的當前的參數分布，K表示候選語義類別數；

采用逐點互信息PMI度量同時采樣的兩個隨機變量之間的關系，表示為：

其中，p(y₁)、p(y₂)分別是類別y₁、y₂的頻率，如果PMI遠大于0，則兩個類別傾向于同時出現，否則，傾向于相互避免；

對PMI進行建模并表述為：

使用softmax函數將其重新規范化，表示為：

log p_θ(y∣x)～f_y(x；θ)+log p(y)

添加調整因子τ，得到的不平衡調整損失函數表示為：