[發明專利]基于生成對抗網絡的半監督X光圖像自動標注

在審

• 申請號: 201910250090.2
• 申請日: 2019-03-29
• 公開（公告）號: CN110110745A
• 公開（公告）日: 2019-08-09
• 發明（設計）人: 王典;劉坤;榮夢學
• 申請（專利權）人: 上海海事大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海互順專利代理事務所(普通合伙) 31332
• 代理人: 成秋麗

1.一種基于半監督生成對抗網絡的X光圖像自動標注方法，其特征在于包括以下步驟：

步驟一：構建網絡結構：

網絡結構主要包括生成器和判別器，在生成對抗網絡的基礎上，通過將生成對抗網絡的生成器的生成圖像樣本添加到數據庫圖像中，對于一個K類分類問題，用新生成的類y＝K+1標注生成圖像樣本，相應地將判別器輸出softmax分類器的維數從K擴展到到K+1；

(一)構建生成器：

生成器網絡結構使用多層反卷積網絡來對隨機噪聲向量z進行上采樣，生成指定大小的生成圖像圖像；首先將符合高斯分布分布的100維隨機噪聲z輸入到全連接網絡，通過維度變換使其成為三維張量；然后將維度變換后的張量輸入到卷積核的大小為5×5，步長為2的多層反卷積層，每次完成反卷積之后都進行批量歸一化處理，除了最后輸出層使用tanh激活函數以外，其它層都采用ReLu激活函數，最后輸出層輸出指定大小為的張量，即為生成圖像樣本；

(二)構建判別器：

判別器網絡由多個個卷積層，全連接層以及一個softmax輸出串連組成；輸入圖像樣本輸入到采用卷積核為3×3的卷積層中，每次完成卷積之后都進行批量歸一化處理，激活函數采用leakReLu函數；不同于傳統的ReLU激活函數，leakReLu在負半軸保留了很小的斜率，避免了訓練過程中梯度消失；最后經全連接層輸出邏輯向量，通過softmax輸出歸一化類概率向量；

步驟二：數據預處理

在構建網絡模型后，為了保證圖像大小以及噪聲等因素對網絡訓練過程中的影響，在網絡模型訓練之前對圖像數據進行預處理：

(一)針對數據庫中的X光圖像中出現的灰霧現象采用直方圖均衡化對進行灰度值調整；

(二)確保輸入圖像數據的一致性，對圖像統一縮放為128×128像素；

(三)對數據集進行分割，數據集按照7：2：1劃分為訓練集、測試集和驗證集；

(四)訓練集數據分為標注樣本數據和未標注樣本數據，其中標注樣本數據遠遠小于未標注樣本數據量；

步驟三：定義網絡損失函數

網絡訓練本質上就是損失函數的一個優化的過程，分別定義判別器和生成器損失函數，用于網絡訓練中參數優化和更新：

(一)判別器網絡損失：

(1)判別器輸入x對應三種數據：標注數據、未標數據、生成數據。

(2)判別器輸入x中標注樣本數據對應的標簽y，取自真實數據分布x,y～P_data；

(3)未標注樣本取自數據庫數據分布x～P_data；

(4)生成樣本來自生成器x～G；

(5)判別器接受樣本x作為輸入，輸出一個K+1維的邏輯向量{l₁,l₂,···,l_K+1}，再由softmax輸出歸一化類概率向量：

(6)概率前K維對應原有K個類，最后一維對應“偽樣本”類，即生成圖像樣本類。P_model的最大值位置對應預測分類標簽；

(7)判別器輸入對應三種數據分別對應各自損失L_label,L_unlabel,L_gen；

(8)標簽樣本損失：真實類標簽分布和預測類標簽的交叉熵損失：

(9)未標注樣本損失：將未標記樣本分為真的損失，即y≠K+1：

(10)生成樣本損失：將生成樣本分為假的損失，即y＝K+1：

L_gen＝-E_x～G[logP_model(y＝K+1|x)]

(11)三類損失函數相結合為判別器損失函數。表示為：

L_D＝L_label+L_unlabel+L_gen

(二)生成器網絡損失：

(1)生成器由隨機向量生成樣本G(z)；

(2)選取判別器全連接層輸出的邏輯向量作為中間層的特征值f(·)；

(3)采用要求生成器生成與真實數據的統計數據相匹配的特征匹配的方法作為生成器損失函數，定義為如下形式：

步驟四：網絡訓練

在構建網絡模型，以及數據處理之后，最后將采用定義的損失函數隨網絡進行訓練，本發明提出的半監督生成對抗網絡模型具體訓練步驟如下：

1)在高斯分布中隨機采樣生成隨機向量z，并將隨機向量輸入至生成器網絡，得到生成圖像G(z)；

2)將標注和未標注的真實圖像x以及生成圖像G(z)按批次輸入到判別器網絡，通過softmax輸出歸一化的概率值D(x)和D(G(z))；

3)固定判別器網絡的參數，若真實圖像x無標簽，則將L_unlabel作為損失函數；若真實圖像x有標簽，則將L_label作為損失函數；若輸入為生成圖像，將L_gen作為損失函數。利用Adam梯度下降方式來調整判別器網絡的參數；

4)固定判別器網絡的參數，選取全連接層輸出作為中間層特征，對真實圖像x和生成圖像G(z)進行特征匹配操作，并利用特征匹配調整生成器網絡的參數；

5)重復1-4步操作，直至達到迭代次數或網絡達到收斂；

6)將測試樣本圖像輸入到判別器中，對測試圖像進行自動標注。