[發明專利]一種自動分組的多尺度輕量型深度卷積神經網絡優化方法

在審

• 申請號: 202110251256.X
• 申請日: 2021-03-08
• 公開（公告）號: CN113011091A
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 王彬;向甜;金海燕;江巧永
• 申請（專利權）人: 西安理工大學
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06K9/62;G06N3/00;G06N3/04;G06N3/08;G06F111/04;G06F111/06
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 楊洲

本發明公開了一種自動分組的多尺度輕量型深度卷積神經網絡優化方法，包括：步驟1，采用對稱正余弦算法進行演化搜索得到待評價種群；步驟2，對待評價種群使用多尺度輕量型卷積神經網絡在圖像分類任務上進行適應度評價，得到被評價后的種群；步驟3，將被評價后的種群中最好的個體解碼得到最終的網絡模型SCA_MblockNet，并進行模型性能評估。本發明提出的自動分組技術應用于原有的深度卷積神經網絡多尺度卷積結構的特征融合模塊中，設計出一種改進的多尺度輕量型深度卷積神經網絡，在無需領域知識和人工干預的情況下，能將原有卷積神經網絡在圖像分類數據集上的平均精確度提高2.56％，與幾個先進的同類競爭者相比具有顯著優勢。

技術領域

本發明屬于進化深度卷積神經網絡結構優化技術研究領域，具體涉及一種自動分組的多尺度輕量型深度卷積神經網絡優化方法。

背景技術

深度卷積神經網絡(DCNN)是深度神經網絡(DNN)的一種，因為其表現出色的特征提取能力而在計算機視覺(CV)和圖像處理領域得到了廣泛的應用和發展。卷積神經網絡(CNN)是最合適的圖像內容表示學習算法之一，并在圖像分割、目標檢測以及圖像分類任務中表現出優秀的性能。例如，在圖像分類任務中，從1995年LeNet的問世，到2012年AlexNet在ImageNet挑戰賽上表現突出，再到2015年VGGNet，ResNet的提出和2016年DenseNet逐漸展示出卷積神經網絡的性能優勢。然而，其網絡結構復雜，參數量和計算量龐大的不足，導致深度卷積神經網絡難以在移動端應用。因此，如何提高卷積神經網絡的效率使其能夠移植到移動端也成為研究者們致力研究的任務。

傳統上，大多采用網絡剪枝、減少網絡層數、優化超參數以及優化網絡結構減少網絡參數量等簡化神經網絡的方法。大量的研究工作表明，網絡結構的優化對提高卷積神經網絡的效率具有重要意義。2016年，SqueezeNet的提出使得輕量化神經網絡的研究成為研究者們關心的課題。輕量型深度卷積神經網絡的結構設計則是從網絡結構的優化方面進行研究的，其主要分為深度可分離卷積和分組卷積兩種方法。可分離卷積是將卷積運算分成兩層及以上的卷積運算，先將少量卷積與數據進行卷積運算，然后采用1*1的點卷積運算，將輸出結構還原為輸入結構。例如，輕量型深度可分離網絡MobileNet的基本單元可分為深度卷積和逐點卷積兩部分。深度卷積對每個輸入通道采用不同的卷積核，每個通道之間相互獨立，能夠在一定程度上減少計算量。分組卷積方法包括多分辨率卷積核分組、多尺度分組以及多通道分組等，通過平衡計算量和表現性能進行設計和應用。例如2017年，ShuffleNet將輕量化模型與壓縮模型的方法相結合，在原始ResNet的基礎上，采用通道重組、分組卷積和深度卷積進行改進。通過多尺度分組的方式能夠在一定程度上將計算量和參數量降低。

目前，在深度卷積網絡結構優化設計方面主要分為手動、半自動半手動以及自動設計三大類。傳統的網絡采用手動的方式設計，但需要專家根據領域知識設計。半自動網絡結構設計也需要一定的專業知識進行調整。例如，遺傳卷積神經網絡(Genetic CNN)、模塊設計方法(Block-QNN-S)、分層表示方法以及高級神經體系結構搜索方法(NSANet)，都需要一定的專業知識幫助設計。自動網絡結構設計及優化方法，無需任何人工干預和手動調整。例如，大規模進化方法以及笛卡爾遺傳規劃方法等，不需要專家和先驗知識可以搜索出針對特定問題或任務最匹配的結構。現階段為止，絕大多數自動設計網絡結構和參數的方法都是基于進化算法的。