[發明專利]嵌入超圖卷積層的深度學習冰晶粒子圖像分類方法

有效

• 申請號: 202110343928.X
• 申請日: 2021-03-31
• 公開（公告）號: CN112733968B
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 段婧;廖夢媛;李德泉;吳錫;胡金蓉
• 申請（專利權）人: 中國氣象科學研究院;成都信息工程大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京佳信天和知識產權代理事務所(普通合伙) 11939
• 代理人: 張宏偉

1.一種嵌入超圖卷積層的深度學習冰晶粒子圖像分類方法，其特征在于包括如下步驟：

步驟1，搭建一個嵌入超圖結構的卷積神經網絡模型用于冰晶粒子圖像的10分類任務；

步驟2，使用包含10個類別的冰晶粒子圖像的訓練樣本數據集對所述嵌入超圖結構的卷積神經網絡模型進行訓練；

步驟3，使用冰晶粒子圖像的測試樣本數據集對所述嵌入超圖結構的卷積神經網絡模型進行分類測試，并保存測試效果最好的網絡模型；所述嵌入超圖結構的卷積神經網絡模型，其網絡結構包含了卷積層和超圖卷積層，并將一個超圖卷積層嵌入在了ResNet152網絡的第10個卷積層和第11個卷積層之間；

步驟4，使用步驟3所保存的網絡模型對冰晶粒子圖像進行自動分類；

超圖卷積層中，進行超圖卷積層輸入的構建，包括：

1）從局部特征空間構建超邊：在前一卷積層得到的特征圖的基礎上，選擇中心像素點的八鄰域中的像素點構成一條超邊，以表示中心像素點周圍的局部空間的特征關系；對位于邊界上的中心像素點，則選擇周圍的三個或五個像素點來構成超邊；

2）從全局特征空間構建超邊：在前一卷積層得到的特征圖的基礎上，以除邊界外的每個像素點為中心定義一個3×3大小的像素塊，將像素塊的3×3個像素值按從上到下、從左到右的順序得到一個1*9的向量，并用該向量代表該像素塊的中心像素點；計算兩個1*9的向量的歐氏距離來代表兩個中心像素點間的距離，由此得到每個像素點與其他像素點間的距離，然后選擇每個像素點的3個全局最鄰近像素點，從而構成超邊，每條超邊包含了含中心像素點在內的4個像素點；

3）由從局部和全局特征空間得到的超邊構成最終的超圖；

4）前一卷積層得到的特征圖大小為X∈R^C*H*W，其中C為通道數，H為高度，W為寬度；

5）在完成超圖的構建后，將X∈R^C*H*W改變維度為X∈R^N*C，其中N為超圖中的頂點個數，N=W*H，并將改變維度后的頂點特征矩陣X∈R^N*C和構建的超圖作為超圖卷積層的輸入。

2.如權利要求1所述的一種嵌入超圖卷積層的深度學習冰晶粒子圖像分類方法，其特征在于：所述步驟1中，所述嵌入超圖結構的卷積神經網絡模型，超圖的定義如下公式所示：

其中是超圖的有限頂點集，是超圖的超邊集，是超邊的權重矩陣。

3.如權利要求1所述的一種嵌入超圖卷積層的深度學習冰晶粒子圖像分類方法，其特征在于：所述步驟1中，所述嵌入超圖結構的卷積神經網絡模型，其超圖卷積層中，根據頂點和超邊的關系，進行卷積操作來更新頂點的像素值，計算公式如下公式所示：

其中，表示非線性函數，表示超圖中頂點的度矩陣，表示超圖中超邊的度矩陣，表示超邊的權重矩陣，表示||×||維的點邊關聯矩陣，表示當前超圖的頂點特征矩陣，為一個可學習的參數矩陣，為經過卷積運算后得到超圖的頂點特征矩陣，X^(.)的大小為R^N*C，其中N為超圖中的頂點個數， C為通道數。

4.如權利要求1所述的一種嵌入超圖卷積層的深度學習冰晶粒子圖像分類方法，其特征在于：所述步驟1中，所述嵌入超圖結構的卷積神經網絡模型，其超圖卷積層中，每一個超圖卷積層后都會跟著一個非線性激活函數Leaky ReLU和一個Dropout層防止過擬合，并設置Dropout層參數p為0.3。

5.如權利要求1所述的一種嵌入超圖卷積層的深度學習冰晶粒子圖像分類方法，其特征在于：所述步驟1中，所述嵌入超圖結構的卷積神經網絡模型，其超圖卷積層中，在進行卷積操作、非線性函數激活、Dropout后將數據的維度X∈R^N*C轉換回之前的維度大小X∈R^B*C*H*W，以適應后一卷積層的輸入大小。

6.如權利要求1所述的一種嵌入超圖卷積層的深度學習冰晶粒子圖像分類方法，其特征在于：所述步驟1中，所述嵌入超圖結構的卷積神經網絡模型，其超圖卷積層中，超圖卷積層的輸入通道數等于前一卷積層的輸出通道數，超圖卷積層的輸出通道數等于后一卷積層的輸入通道數。