[發明專利]一種基于深度學習的多特征融合圖像分類方法

在審

• 申請號: 202011328440.1
• 申請日: 2020-11-24
• 公開（公告）號: CN112488170A
• 公開（公告）日: 2021-03-12
• 發明（設計）人: 岳雪穎;田澤坤;孫玲玲
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06T7/00;G06T7/11
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 楊舟濤

1.一種基于深度學習的多特征融合圖像分類方法，其特征在于：具體包括以下步驟：

步驟1、數據集劃分；

將采集的劃分為訓練集，測試集以及驗證集；

步驟2、數據增強；

對訓練集、測試集和驗證集中的圖片進行歸一化處理后將圖片剪裁至(224，224)；

對訓練集中的圖片隨機進行水平翻轉、垂直翻轉、修改亮度和依據概率P1對圖片進行水平翻轉中的一個或幾個組合的操作；

步驟3、構建分類網絡模型；

將步驟2處理后的測試集圖片輸入改進的resnet18網絡中，生成特征圖A；所述改進的resnet18網絡刪除了resnet18網絡平均池化層之后的部分；再將特征圖A輸入ARPY網絡中，輸出重點特征的位置信息x、y和z，其中x和y為重要特征區域的左上角坐標，z為重要特征區域的邊長；所述ARPY網絡為兩個卷積核為3*3的卷積層相連后再連接兩個全連接層；將重點特征對應的區域進行剪裁后重設尺寸為224*224，隨機遮擋后輸入改進的resnet18網絡中，得到特征圖B；將特征圖A和特征圖B進行相加操作后再依次經過全連接層FC1、概率為P2的Dropout層、全連接層FC2、BN層、全連接層FC3、relu激活函數層、全連接層FC4和softmax函數，輸出特征區域的類別概率值；

步驟4、初始化分類網絡模型；

采用遷移學習方法，使用超大規模視覺圖像挑戰賽ImageNet中的圖片所訓練的權重初始化步驟3構建的分類網絡模型；

步驟5、優化分類網絡模型；

向步驟4初始化后的分類網絡模型輸入驗證集，將輸出的分類結果與真實標簽進行比較，通過反向傳播算法，使用損失函數CrossEntropyLoss()計算損失值，然后使用Adam優化方法循環訓練多次直至預定目標，保存此時分類網絡模型的參數權重；

步驟6、獲得分類結果

將測試集輸入步驟5訓練優化后的分類網絡模型，得到特征區域的概率值，完成圖片分類。

2.如權利要求1所述一種基于深度學習的多特征融合圖像分類方法，其特征在于：步驟2中對圖片進行水平翻轉的概率P1＝0.5。

3.如權利要求1所述一種基于深度學習的多特征融合圖像分類方法，其特征在于：步驟3中，分類模型網絡的Dropout層的概率P2＝0.5。

4.如權利要求1所述一種基于深度學習的多特征融合圖像分類方法，其特征在于：步驟5中使用Adam優化方法多次循環訓練的預定目標為驗證集的分類準確率達到0.94。