[發明專利]一種基于圖神經網絡的超大圖像分類方法

有效

• 申請號: 202010530337.9
• 申請日: 2020-06-11
• 公開（公告）號: CN111738318B
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 姜楠;候亞慶;周東生;楊鑫;張強
• 申請（專利權）人: 大連理工大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/82;G06V10/26;G06V10/25;G06V10/77;G06V20/10
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 隋秀文;溫福雪

1.一種基于圖神經網絡的超大圖像分類方法，其特征在于，具體步驟如下：

步驟1、數據預處理，構建圖結構數據，步驟如下：

(1.1)原始圖像下采樣得到縮略圖，在縮略圖上利用閾值方法過濾掉背景部分，所以采用大津法確定分割閾值，像素值大于等于分割閾值的點為背景部分像素點，小于分割閾值的點為組織部分像素點，背景部分和組織部分中像素點的灰度方差越大，說明選取到的閾值分類越精確；

背景部分和組織部分中的像素點間方差計算公式為：g＝w₀w₁(μ₀-μ₁)²，其中

w₀：前景像素點占整個圖像的比例；

w₁：背景像素點占整個圖像的比例；

μ₀：前景像素點平均灰度值；

μ₁：背景像素點平均灰度值；

使用遍歷的方法確定使背景部分和組織部分中的像素點方差g最大的閾值T，利用閾值T對圖像的像素進行分類實現分割，再對分離后的前景圖像進行形態學操作：通過腐蝕操作將局部圖像外圍的突出點加以腐蝕，通過膨脹操作將局部圖像外圍的突出點連接并向外延伸，處理后的圖像保存為二進制掩膜用于原圖像的裁剪；

(1.2)將步驟(1.1)得到的二進制掩膜與縮略圖相乘，非零區域為圖像前景，即要進行剪裁的區域，在非零區域內通過滑動窗口方式保存每個子圖像的左上角坐標，即無重疊地對原始圖像進行順序裁剪，若子圖像的大小為M*M，則在縮略圖上保存坐標時的步長為M/S，其中S為下采樣因子；最后按照保存的左上角坐標在原始超大圖像中保存子圖像，大小為M*M；

(1.3)對于部分超大圖像，需要選定一個顏色模板，對所有裁剪得到的子圖像進行顏色歸一化，即從步驟(1.2)得到的圖片中選取一張色彩均勻、顏色清晰的圖片作為參考圖片，將剩下所有的子圖像都轉換為參考圖片的色彩風格；轉換步驟如下：

(1.3.1)將參考圖片和目標圖片都從RGB色彩空間轉換到LAB空間；

(1.3.2)得到參考圖片和目標圖片在LAB空間的均值和標準差，以對目標圖片進行調整；

(1.3.3)將目標圖片重新轉換回RGB空間，得到色彩歸一化后的圖像；

(1.4)特征提取容器訓練：提取超大圖像的感興趣區域ROI的子圖像作為訓練數據訓練卷積神經網絡作為特征提取容器；

(1.4.1)若超大圖像給出了感興趣區域ROI的標注，則提取出ROI中的子圖像作為訓練數據，用來訓練卷積神經網絡，網絡結構選擇不同深度的ResNet或VGGNet，使用基于ImageNet的預訓練模型作為初始化；

(1.4.2)若超大圖像并未給出感興趣區域ROI的標注，通過超大圖像所具有的特性來判斷原始圖像中ROI，則從判定后的ROI中提取子圖像作為訓練數據，網絡結構的選擇與步驟(1.4.1)相同；

(1.4.3)如果無法獲得任何感興趣區域ROI的相關信息，則隨機選取子圖像，特征提取容器直接選擇使用基于ImageNet數據集的預訓練模型；

(1.5)按照步驟(1.4)得到的子圖像和卷積神經網絡中進行特征提取，將子圖像輸入神經網絡中，softmax層之前的全連接層的輸出即為要提取的子圖像特征向量；

(1.6)將步驟(1.5)提取出的子圖像特征向量進行主成分分析得到降維后的特征向量；定義降維前的特征維度為N，降維后的特征維度為K，主成分分析的具體過程如下：

(1.6.1)將原始數據按列組成n*N矩陣X，n為超大圖像經剪裁篩選得到的子圖像數量；

(1.6.2)將矩陣X的每一行進行零均值化；

(1.6.3)求出矩陣X的協方差矩陣；

(1.6.4)求出協方差矩陣的特征值及對應的特征向量；

(1.6.5)將特征向量按對應特征值大小從上到下按行排列成矩陣，取前K行組成矩陣P；

(1.6.6)令Y＝PX即為降維到K維后圖像的特征向量；

(1.7)將步驟(1.6)降維后的特征向量作為圖的節點，各個節點特征向量之間的平均歐氏距離作為閾值，用來衡量結點直接是否有邊，兩個節點特征向量之間距離大于閾值的說明關聯性強，則兩個節點之間設置為有邊，兩個節點特征向量之間距離小于閾值的說明聯系較小，則兩個節點之間設置為無邊；以結點之間的平均歐氏距離為閾值，構建得到的圖的表示方式如下：

G→(A,F)；

G：表示圖；

A：表示圖G的鄰接矩陣，A中的元素值為0或1，A(i,j)表示節點i與j之間是否有邊相連，若為1則表示有邊，若為0則表示沒有邊；

F：表示圖中節點的特征向量，即經主成分分析降維得到的K維向量；

步驟(2)訓練用于圖分類的圖神經網絡，用于圖分類的圖神經網絡由圖卷積神經網絡層、可微池化層以及全連接網絡層組成：

(2.1)圖卷積神經網絡的傳播模型公式如下：

其中，H^(b)是b輪信息傳播后節點的特征向量，即節點嵌入，θ是傳播模型的可訓練參數；

A為圖的鄰接矩陣，其中I為對角矩陣，代表結點自身到自身的邊；

M為信息傳播函數，采用ReLU函數；

W為參數矩陣，通過訓練得到；

(2.2)為了實現層次化學習特征向量作為整張圖的表示方法，每一層圖卷積神經網絡層后加上可微池化操作層，二者交替設置，每一次池化操作都通過softmax層獲得一個分配矩陣，分配矩陣代表softmax層的節點在下一層分配到每一個簇的概率值；利用分配矩陣將當前節點進行分配得到數量更少的簇，經過多次可微池化后，得到一個最終的特征向量，代表整張圖的特征向量；

可微池化操作的公式如下：

(A^l+1,X^l+1)＝POOL(A^l,Z^l) (1)

Z^l＝GNN_l,embed(A^l,X^l) (4)

S^l＝softmax(GNN_l,pool(A^l,X^l)) (5)

公式(1)描述可微池化操作，其中的l表示第l層，輸入參數A^l為l層的圖鄰接矩陣，Z^l為l層池化層計算得到的節點嵌入；每經過一次池化操作，得到一個比上一層更粗粒度的圖，為了實現圖的粗粒度化，需要一個分配矩陣S^l，矩陣的規模為a*c，a為l層的圖結點數，c為l+1層的圖結點數，ca，a是根據具體實驗需求而設定，最后一次池化操作時a為l；S^l矩陣中的元素(i，j)表示l層的i結點被分配到l+1層的j結點簇中的概率值；

公式(2)和(3)是可微池化操作的具體實現方式；輸出分為兩部分，X^l+1和A^l+1；X^l+1為結點嵌入矩陣，矩陣規模為c*d，d為節點的特征維度，A^l+1規模為c*c，是l+1層的圖的鄰接矩陣；

公式(4)和(5)描述可微池化操作中需要的分配矩陣和結點嵌入的計算方法，由兩個不同參數的圖神經網絡層實現，二者的輸入都是上一層的圖神經網絡輸出的圖結點嵌入X^l，在公式(5)計算分配矩陣時最后需要以行為單位的softmax操作，得到概率值；由于最后一次池化操作的c值為l，最終得到一個代表整個圖的特征向量；

(2.3)步驟(2.1)的圖卷積神經網絡層和步驟(2.2)的可微池化操作層是交替設置的，根據具體問題中圖的結點數目選擇不同的網絡層數，至少設置兩層，即兩層圖卷積層和兩層池化層，并且最后一層圖卷積層的輸出節點數一定是l，則得到整張圖的特征向量表示；在圖卷積層和池化層后還需要全連接層計算最終的分類結果，選擇f層全連接網絡，其中第f層為softmax層，f＝2，輸出判定為各個分類的概率值，最大的概率值做代表的類別即為分類結果；

(2.4)用于分類的圖卷集神經網絡的損失函數和訓練參數的設定：圖卷積神經網絡結構中設置至少2層可微分池化，每次池化層的結點簇數目為上一層結點數的10％，訓練方法采用10折驗證法，訓練次數為根據具體實驗進行設計，如果損失函數不再減小，則提前停止訓練；

分類任務中設置用于訓練的損失函數為交叉熵損失，并增加兩個輔助損失函數項幫助訓練，分別為邊損失函數L_LP，信息熵損失函數L_E：

(a)

(b)

(c)

公式(a)中，L_ce是交叉熵損失，y_c是類別c的概率值，C為要分類的類別總數；

公式(b)中，A為鄰接矩陣，S為分配矩陣，上標l代表層數；

公式(c)中，H為熵，S_i為分配矩陣的第i行。