[發明專利]一種基于圖神經網絡的小樣本分類學習方法

在審

• 申請號: 202210479820.8
• 申請日: 2022-05-05
• 公開（公告）號: CN115063624A
• 公開（公告）日: 2022-09-16
• 發明（設計）人: 王忠立;王穎博;蔡伯根
• 申請（專利權）人: 北京交通大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06N3/04;G06N3/08
• 代理公司: 北京市誠輝律師事務所 11430
• 代理人: 楊帥峰;岳東升

1.一種基于圖神經網絡的小樣本分類學習方法，其特征在于：所述方法包括如下步驟：

步驟1：利用4C檢測系統中安裝在檢測車上的數十套高速、高清工業相機及后臺運行控制系統對接觸網的幾何參數、重要零部件實施自動抓拍成像，采集真實高速鐵路場景下接觸網原始圖片數據；

步驟2：通過基于深度學習的目標檢測方法對接觸網零部件進行粗定位和精定位，得到接觸網更為精準且具體的零部件圖片；

步驟3：對得到的接觸網零部件圖片進行處理，構建較為完整的4C樣本庫，為小樣本分類訓練及測試做準備；

步驟4：采用雙圖神經網絡和基于Wasserstein距離的類中心估計相結合的方法，輸入接觸網零部件圖片，通過雙圖神經網絡優化增強特征表達，利用基于Wasserstein距離優化方法將增強的特征分布與所屬類的分布對齊，提高分類精度，輸出最終零部件正常或缺陷類型的對應名稱，即分類結果。

2.如權利要求1所述的小樣本分類學習方法，其特征在于：所述步驟1中采集的接觸網圖片來自于多個不同的高速鐵路場景，根據不同高速鐵路供電線路設備特點，利用高分辨率相機收集、整理、分析常見及重點接觸網設備的正常與缺陷圖像素材。

3.如權利要求1所述的小樣本分類學習方法，其特征在于：所述步驟2中的粗定位與精定位是為了實現目標檢測而提出的兩步走計劃，粗定位定位出大部件的具體位置，精定位確定大部件中缺陷零件的具體位置，有利于提升檢測定位準確率。

4.如權利要求1所述的小樣本分類學習方法，其特征在于：所述步驟3中進行的接觸網零部件處理包括兩部分，一是在得到精定位缺陷零件結果后，對所有正常或缺陷圖片進行尺寸和格式的統一處理，二是利用人工結合自動的方式對尺寸格式統一后的圖片做分類，構建4C樣本庫。

5.如權利要求1～4中任一項所述的小樣本分類學習方法，其特征在于：所述4C樣本庫包含三級目錄，第一級目錄為接觸網各部件的英文名稱，第二級目錄為部件下各零件的英文名稱，第三級目錄為具體的零件缺陷類型，不同的名稱代表不同的缺陷，依次構建出較為完整清晰的4C樣本庫。

6.如權利要求1所述的小樣本分類學習方法，其特征在于：所述步驟4包括如下步驟：

a、采用傳導式小樣本分類學習方法，小樣本學習由多個學習任務(task)組成，每個學習任務的樣本包括一個支持集S和一個查詢集Q，給定訓練數據集D_train和測試數據集D_test，且在D_train中包含所有學習任務所需要的樣本對(S_i,Q_i),i＝1……n,n為任務數，包含C個類，每個類中抽取K個樣本(C-way,K-shot)，可以表示為S＝{(x₁，y₁)，(x₂，y₂)，…，(x_C×K，y_C×K)}；對應于S，從C個類別中各自抽取K個樣本，可以表示為Q＝{(x_C×K+1，y_C×K+1)，…，(x_C×K+CⅹK，y_C×K+C×K)}，測試數據D_test也是由(S,Q)兩部分組成，但與D_train無交集，主要用于測試訓練模型的精度，此時支持集S和查詢集Q的標簽是互斥的；

b、選用具有較強特征提取能力的殘差網絡ResNet12，在特征提取網絡訓練階段同時使用數據集D_train和D_test對模型進行訓練，在得到相應的網絡模型后將其應用到測試數據集D_test中，分別對D_test中的支持集和查詢集樣本進行特征提取，由于在訓練階段使用了D_test數據集，有利于測試樣本特征的提取；

c、為了最大化分類效果，設計了一種用于特征增強的雙圖神經網絡(DGNN)，由特征圖神經網絡(FG)和關系圖神經網絡(RG)組成，通過FG與RG之間的循環迭代充分融合樣本特征與樣本分布之間的關系，利用圖網絡的消息傳播機制將已標注的支持集樣本特征和標簽信息傳播到未標注的查詢集樣本中，實現對主干網絡提取特征的表征增強，基于DGNN的模型共包含h代，每代包含一個特征圖(FG)G_h^f＝(N_h^f,E_h^f)和一個關系圖(RG)G_h^r＝(N_h^r,E_h^r)。FG描述樣本的特征，RG描述樣本特征分布之間的關系。過程可簡要表示為N_h^f→E_h^f→N_h^r→E_h^r→N_h+1^f,

其中，h代表第h代；

d、采用基于熵正則化的sinkhorn算法，結合Wasserstein距離評估從增強后的特征向量分布到對應抽取樣本的映射路徑，通過更新迭代的方式找到類中心的最大后驗概率估計(MAP)以此求取最優傳輸解，經過一定步驟的迭代后，將最優映射中待分類樣本所屬概率最大的類別作為其分類結果，最大后驗概率估計包括幾個步驟，首先用Sinkhorn算法優化估計映射矩陣W*，其次，用映射矩陣W*更新類中心,然后根據新得到的類中心更新映射矩陣W*，并迭代此過程，整體優化估計方法模型如下：

其中，0i≤CQ表示無標簽樣本的索引，

c_j表示類別j的類中心，即類j的空間特征中最中心的特征向量，0j≤C，

n_i表示無標簽樣本對應的特征向量，

l(n_i)是無標簽樣本對應的類標簽，

表示無標簽樣本所屬類的類中心，

P(n_i|j＝l(n_i))代表無標簽樣本屬于類j的概率，

表示標簽集，

公式第二行對應于Wasserstein最優傳輸距離，為了求解從增強樣本特征向量分布到樣本平衡采樣之間的最優傳輸，采用基于熵正則化的Sinkhorn算法，Sinkhorn優化估計可表示為：

其中，W表示CQ個待分類樣本分別屬于C個類別的概率，

D∈R^CQ×C表示無標簽樣本和類中心之間的歐氏距離，

H(W)表示映射矩陣W的熵，

是一組正定矩陣，可表示為：

其中，p是矩陣W每一行的總和，表示每個無標簽樣本用于類分配的數量的分布，

q是矩陣W每一列的求和，表示分配給每個類的無標簽樣本數量的分布，

類中心的優化迭代估計方法如下：

類中心更新方法如下：

c_j←c_j+α(v_j-c_j)，

其中，α(0α≤1)表示學習率。