[發(fā)明專利]圖像多標簽分類方法、系統(tǒng)、設(shè)備及可讀存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010581393.5
• 申請日: 2020-06-23
• 公開（公告）號: CN111897985B
• 公開（公告）日: 2021-10-01
• 發(fā)明（設(shè)計）人: 范力宏;藺琛皓;沈超;朱炯歷;王騫;李琦
• 申請（專利權(quán)）人: 西安交通大學(xué)醫(yī)學(xué)院第一附屬醫(yī)院
• 主分類號: G06F16/55
• 分類號: G06F16/55;G06N3/04;G06N3/08
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 李鵬威

1.一種圖像多標簽分類方法，其特征在于，包括以下步驟：

S1：獲取待分類的多標簽各自對應(yīng)的原始圖像，生成樣本集；

S2：獲取用于圖像多標簽分類的初始深度卷積神經(jīng)網(wǎng)絡(luò)；在初始深度卷積神經(jīng)網(wǎng)絡(luò)內(nèi)添加門激活函數(shù)層得到深度卷積神經(jīng)網(wǎng)絡(luò)；

S3：通過樣本集迭代訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)，得到各標簽對應(yīng)的顯著性圖；具體方法為：通過樣本集迭代訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)，將深度卷積神經(jīng)網(wǎng)絡(luò)的低層神經(jīng)網(wǎng)絡(luò)輸出和高層神經(jīng)網(wǎng)絡(luò)輸出融合，得到各標簽對應(yīng)的可視化的顯著性圖；

S4：選取滿足預(yù)設(shè)要求的標簽對應(yīng)的顯著性圖，通過顯著性圖從對應(yīng)的原始圖像中提取目標，目標為預(yù)設(shè)要求的標簽對應(yīng)的目標物體；其中，通過顯著性圖從對應(yīng)的原始圖像中提取目標的具體方法為：將顯著性圖歸一化到0-1之間，以隨機閾值設(shè)計二值化掩碼從對應(yīng)的原始圖像中提取目標；

S5：設(shè)置待生成圖像，將目標區(qū)域遷移至待生成圖像上得到目標圖像；具體方法為：

S5-1：設(shè)置待生成圖像，將目標置于待生成圖像；

S5-2：將目標進行隨機平移及縮放；根據(jù)待生成圖像的邊緣范圍及待生成圖像內(nèi)其他物體的區(qū)域范圍，得到目標的區(qū)域及大小的生成條件，根據(jù)生成條件選取隨機平移及縮放后的目標；

S5-3：重復(fù)S5-2至達到預(yù)設(shè)的最大選取次數(shù)，將滿足生成條件的目標的顏色風(fēng)格遷移到待生成圖像，得到目標圖像；其中，將滿足生成條件的目標的顏色風(fēng)格遷移到待生成圖像的具體方法為：計算待生成圖像和目標在Lab顏色空間的均值和方差，將目標的顏色風(fēng)格遷移到待生成圖像的顏色風(fēng)格；

S6：將目標圖像添加至樣本集中，迭代S3至S5預(yù)設(shè)次數(shù)，通過最終的深度卷積神經(jīng)網(wǎng)絡(luò)進行輸入圖像的圖像多標簽分類。

2.根據(jù)權(quán)利要求1所述的圖像多標簽分類方法，其特征在于，所述S1還包括：將原始圖像進行預(yù)處理，預(yù)處理包括圖像去噪、圖像增強和/或數(shù)據(jù)增廣。

3.根據(jù)權(quán)利要求1所述的圖像多標簽分類方法，其特征在于，所述S4中預(yù)設(shè)要求的標簽為標簽對應(yīng)的原始圖像數(shù)量小于預(yù)設(shè)數(shù)量的標簽，或者為標簽的分類效果不滿足預(yù)設(shè)分類效果要求的標簽。

4.一種圖像多標簽分類系統(tǒng)，其特征在于，包括：

樣本集模塊，用于獲取待分類的多標簽各自對應(yīng)的原始圖像，生成樣本集；

模型建立模塊，用于獲取用于圖像多標簽分類的初始深度卷積神經(jīng)網(wǎng)絡(luò)；在初始深度卷積神經(jīng)網(wǎng)絡(luò)內(nèi)添加門激活函數(shù)層得到深度卷積神經(jīng)網(wǎng)絡(luò)；

模型訓(xùn)練模塊，用于通過樣本集迭代訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)，得到各標簽對應(yīng)的顯著性圖；具體方法為：通過樣本集迭代訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)，將深度卷積神經(jīng)網(wǎng)絡(luò)的低層神經(jīng)網(wǎng)絡(luò)輸出和高層神經(jīng)網(wǎng)絡(luò)輸出融合，得到各標簽對應(yīng)的可視化的顯著性圖；

目標提取模塊，用于選取預(yù)設(shè)要求的標簽對應(yīng)的顯著性圖，通過顯著性圖從對應(yīng)的原始圖像中提取目標，目標為預(yù)設(shè)要求的標簽對應(yīng)的目標物體；其中，通過顯著性圖從對應(yīng)的原始圖像中提取目標的具體方法為：將顯著性圖歸一化到0-1之間，以隨機閾值設(shè)計二值化掩碼從對應(yīng)的原始圖像中提取目標；

目標圖像生成模塊，用于設(shè)置待生成圖像，將目標區(qū)域遷移至待生成圖像上得到目標圖像；具體方法為：

S5-1：設(shè)置待生成圖像，將目標置于待生成圖像；

S5-2：將目標進行隨機平移及縮放；根據(jù)待生成圖像的邊緣范圍及待生成圖像內(nèi)其他物體的區(qū)域范圍，得到目標的區(qū)域及大小的生成條件，根據(jù)生成條件選取隨機平移及縮放后的目標；

S5-3：重復(fù)S5-2至達到預(yù)設(shè)的最大選取次數(shù)，將滿足生成條件的目標的顏色風(fēng)格遷移到待生成圖像，得到目標圖像；其中，將滿足生成條件的目標的顏色風(fēng)格遷移到待生成圖像的具體方法為：計算待生成圖像和目標在Lab顏色空間的均值和方差，將目標的顏色風(fēng)格遷移到待生成圖像的顏色風(fēng)格；

樣本集更新模塊，用于將目標圖像添加至樣本集中；

循環(huán)控制模塊，用于控制模型訓(xùn)練模塊、目標提取模塊、目標圖像生成模塊以及樣本集更新模塊循環(huán)進行預(yù)設(shè)次數(shù)；以及

圖像多標簽分類模塊，用于通過最終的深度卷積神經(jīng)網(wǎng)絡(luò)進行輸入圖像的圖像多標簽分類。