[發(fā)明專利]基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分割質(zhì)量評價方法

有效

• 申請?zhí)枺?/td>: 201710302338.6
• 申請日: 2017-05-02
• 公開（公告）號: CN107123123B
• 公開（公告）日: 2019-06-25
• 發(fā)明（設(shè)計）人: 孟凡滿;施雯;李宏亮;吳慶波;許林峰
• 申請（專利權(quán)）人: 電子科技大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 成都弘毅天承知識產(chǎn)權(quán)代理有限公司 51230
• 代理人: 李龍

1.基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分割質(zhì)量評價方法,其特征在于包括以下步驟：

步驟1、構(gòu)建分割結(jié)果數(shù)據(jù)庫：

1.1、首先選取圖像數(shù)據(jù)集中圖片作為分割結(jié)果的原始圖像，然后采取候選框生成方法生成大量的對象候選框，并對每個候選框中的對象進行分割，得到最終的分割結(jié)果；

1.2、計算分割結(jié)果的客觀評價分?jǐn)?shù)，作為參考基準(zhǔn)，即label，利用圖像分割結(jié)果以及數(shù)據(jù)庫自帶的分割參考標(biāo)準(zhǔn)計算其IOU值,IOU值表示交并比；

1.3、根據(jù)IOU值進一步篩選分割結(jié)果，使得分割數(shù)據(jù)均勻分布，防止網(wǎng)絡(luò)學(xué)習(xí)過程偏向某一類結(jié)果；

步驟2、對分割結(jié)果數(shù)據(jù)庫進行預(yù)處理，劃分訓(xùn)練集和測試集；

步驟3、預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型；

使用通用卷積神經(jīng)網(wǎng)絡(luò)模型對所有訓(xùn)練集中的分割結(jié)果進行訓(xùn)練，得到預(yù)訓(xùn)練模型；

使用VGG-16對所有訓(xùn)練集中的分割結(jié)果進行訓(xùn)練，把Softmax層改為Sigmoid層，采用歐式距離損失作為損失函數(shù)；基于Caffe深度學(xué)習(xí)框架進行訓(xùn)練，得到預(yù)訓(xùn)練模型；

步驟4、分割質(zhì)量評價網(wǎng)絡(luò)訓(xùn)練：

4.1、將訓(xùn)練數(shù)據(jù)中分割結(jié)果及其對應(yīng)原始圖片對應(yīng)輸入兩個網(wǎng)絡(luò)分支進行訓(xùn)練；

4.2、采用兩個相同的全卷積結(jié)構(gòu)對分割結(jié)果以及對應(yīng)原始圖像提取特征譜，得到分割特征譜和原始圖片特征譜；

4.3、使用特征級聯(lián)層將分割特征譜和原始圖片特征譜進行簡單地級聯(lián)；

4.4、得到級聯(lián)特征之后，添加一個卷積層對它們之間對應(yīng)位置的局部特征進行描述，得到一個局部區(qū)域的融合特征譜；

4.5、用三個全連接層對前面融合的特征譜進行全局計算，得到一維特征；

4.6、用一個sigmoid層將全連接層得到的一維特征映射0-1之間，得到分割結(jié)果的打分值；

4.7、使用Euclideanloss將網(wǎng)絡(luò)的輸出的結(jié)果跟label進行比較，計算得到誤差，然后誤差進行后向傳播給前面的層，并計算可學(xué)習(xí)參數(shù)的誤差，之后進行可學(xué)習(xí)參數(shù)的更新；

4.8、當(dāng)誤差函數(shù)達到最優(yōu)時，停止參數(shù)更新，保存訓(xùn)練模型；

步驟5、分割質(zhì)量評價網(wǎng)絡(luò)測試：

5.1、將測試集輸入分割質(zhì)量評價網(wǎng)絡(luò)；

5.2、使用步驟4中訓(xùn)練好的模型進行計算，得到測試集中所有分割結(jié)果的質(zhì)量評價分?jǐn)?shù)。

2.根據(jù)權(quán)利要求1所述的基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分割質(zhì)量評價方法,其特征在于，步驟2具體包括以下步驟：

2.1、對分割結(jié)果中前景部分進行裁剪，并用相同大小矩形框?qū)υ摲指罱Y(jié)果對應(yīng)的原始圖像在相同位置進行裁剪；

2.2、將所有裁剪的圖像大小歸一化為224*224；

2.3、對所有原始圖像的三個通道分別計算均值，并將所有分割結(jié)果以及原始圖像的三個通道進行減均值操作；

2.4、將2.3處理的結(jié)果劃分為訓(xùn)練集和測試集。

3.根據(jù)權(quán)利要求1所述的基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分割質(zhì)量評價方法,其特征在于，IOU值計算公式如下：

其中GT_i表示第i個分割結(jié)果對應(yīng)的分割參考標(biāo)準(zhǔn)，R_i表示第i個分割結(jié)果。