[發明專利]一種基于深度學習的多特征融合圖像分類方法

在審

• 申請號: 202011328440.1
• 申請日: 2020-11-24
• 公開（公告）號: CN112488170A
• 公開（公告）日: 2021-03-12
• 發明（設計）人: 岳雪穎;田澤坤;孫玲玲
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06T7/00;G06T7/11
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 楊舟濤

本發明公開了一種基于深度學習的多特征融合圖像分類方法。具體包括數據集劃分、數據增強、分類網絡模型構建、模型初始化與模型訓練優化。數據增強部分通過對圖片隨機進行水平翻轉、垂直翻轉、修改亮度和依概率水平翻轉等操作，增強數據特征。在分類網絡模型構建的過程中對第一次提取的特征進行隨機遮蓋后再次提取，而后對兩次提取的特征進行融合，使特征多樣化，提高了分類精確度。本系統可以用于對眼部惡性腫瘤圖像進行分類，定位圖像中的病變區域作為特征區域，給出病變類型的概率值，輔助閱片醫生判斷。

技術領域

本發明屬于人工智能領域，具體涉及一種基于深度學習的圖像分類方法。

背景技術

隨著深度學習的發展，利用神經網絡對圖片做分類任務的技術已經趨于成熟，傳統的神經網絡利用卷積神經網絡對圖片進行特征提取。由于圖片中可能存在多種重要的特征，傳統的特征提取可能無法精準的提取所有特征，對分類的準確性造成一定的影響。利用注意力機制提取出某些值得注意的特征，并對其中一個特征進行隨機遮蓋，并將處理后的特征與原圖特征進行相加，進行特征相加能夠忽視某些特征而重點強調其他更重要的特征，使神經網絡的訓練能夠盡可能的捕捉到更多的特征，而不是可能單一的側重某些明顯的特征。

發明內容

針對現有技術的不足，本發明提出了一種基于深度學習的多特征融合圖像分類方法，設計深度學習模型，提取特征后定位圖像中的重點特征區域，然后對重點特征區域再次進行特征提取，對兩次提取的特征相加后再分類，提高分類準確度。

一種基于深度學習的多特征融合圖像分類方法，包括如下步驟：

步驟1、數據集劃分；

將采集到的劃分為訓練集，測試集以及驗證集。

步驟2、數據增強；

對訓練集、測試集和驗證集中的圖片進行歸一化處理后將圖片剪裁至(224，224)；

對訓練集中的圖片隨機進行水平翻轉、垂直翻轉、修改亮度和依據概率P1對圖片進行水平翻轉中的一個或幾個組合的操作。

作為優選，概率P1＝0.5。

步驟3、構建分類網絡模型；

將步驟2處理后的測試集圖片輸入改進的resnet18網絡中，生成特征圖A；所述改進的resnet18網絡刪除了resnet18網絡平均池化層之后的部分。再將特征圖A輸入ARPY網絡中，輸出重點特征的位置信息x、y和z，其中x和y為重要特征區域的左上角坐標，z為重要特征區域的邊長。所述ARPY網絡為兩個卷積核為3*3的卷積層相連后再連接兩個全連接層。將重點特征對應的區域進行剪裁后重設尺寸為224*224，隨機遮擋后輸入改進的resnet18網絡中，得到特征圖B。將特征圖A和特征圖B進行相加操作后再依次經過全連接層FC1、概率為P2的Dropout層、全連接層FC2、BN層、全連接層FC3、relu激活函數層、全連接層FC4和softmax函數，輸出特征區域的類別概率值。

作為優選，概率P2＝0.5。

步驟4、初始化分類網絡模型；

采用遷移學習方法，使用超大規模視覺圖像挑戰賽ImageNet中的圖片所訓練的權重初始化步驟3構建的分類網絡模型。

步驟5、優化分類網絡模型；

向步驟4初始化后的分類網絡模型輸入驗證集，將輸出的分類結果與真實標簽進行比較，通過反向傳播算法，使用損失函數CrossEntropyLoss()計算損失值，然后使用Adam優化方法循環訓練多次直至預定目標，保存此時分類網絡模型的參數權重。

作為優選，所述預定目標為驗證集的分類準確率達到0.94。

步驟6、獲得分類結果