[發(fā)明專利]一種面向輕量級神經網絡的模型優(yōu)化和壓縮方法

在審

• 申請?zhí)枺?/td>: 202010637629.2
• 申請日: 2020-07-05
• 公開（公告）號: CN112016670A
• 公開（公告）日: 2020-12-01
• 發(fā)明（設計）人: 徐增敏;趙汝文;陳凱;丁勇;唐梅軍;劉建偉;蒙儒省;羅勁鋒
• 申請（專利權）人: 桂林電子科技大學;桂林安維科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 桂林文必達專利代理事務所(特殊普通合伙) 45134
• 代理人: 張學平

本發(fā)明公開了一種面向輕量級神經網絡的模型優(yōu)化和壓縮方法，首先向原始ReLU函數(shù)中加入改進參數(shù)對ReLU函數(shù)進行改進，并利用鏈式法則和動量法對所述改進參數(shù)進行更新；其次利用ReLU6函數(shù)將自門控函數(shù)中的Sigmoid函數(shù)進行替換，并與改進后的ReLU函數(shù)進行融合，得到融合激活函數(shù)；最后，根據(jù)獲取的剔除閾值，自下而上的刪除對應數(shù)量的卷積核對卷積神經網絡模型進行壓縮，直至模型精度與參數(shù)量平衡，提升輕量級神經網絡模型的性能。

技術領域

本發(fā)明涉及卷積神經網絡技術領域，尤其涉及一種面向輕量級神經網絡的模型優(yōu)化和壓縮方法。

背景技術

深度學習已經遍布社會每一個角落，對當今人類日常生活產生了深遠影響，尤其是卷積神經網絡CNN(Convolution Neural Network)為代表的深度學習技術，在計算機視覺領域得到了巨大發(fā)展，分別在目標檢測、圖像分類、人體姿態(tài)估計等領域都極大超越了傳統(tǒng)算法，讓它成為了圖像分析重要的應用技術。

移動互聯(lián)網的興盛使手機成為了生活的必需品，移動終端的重要性日趨上升。由于網絡模型越來越復雜，在輕量級神經網絡問世之前，傳統(tǒng)的做法是把模型部署在云端，通過移動終端與云端的交互來實現(xiàn)移動應用場景需求。

但是由于數(shù)據(jù)在傳輸過程中受到網絡延遲、帶寬等一系列因素使得這項技術的發(fā)展受到限制。近幾年，人們移動設備的計算能力和存儲能力都有了很大的提高，與此同時輕量級卷積神經網絡例如SqueezeNet、ShuffleNet、MobileNet的問世，打破了常規(guī)思維。它們的出現(xiàn)使得模型可以直接部署在移動設備上，并且憑借著良好的精度，小到可以忽略的模型體積以及高效的運行速度不知不覺間讓移動終端中的應用變得“聰明”起來。這樣一來，構建性能更加優(yōu)秀的基于移動終端的輕量級神經網絡成為了當下的研究熱點。

發(fā)明內容

本發(fā)明的目的在于提供一種面向輕量級神經網絡的模型優(yōu)化和壓縮方法，提升輕量級神經網絡模型的性能。

為實現(xiàn)上述目的，本發(fā)明提供了一種面向輕量級神經網絡的模型優(yōu)化和壓縮方法，包括：

利用改進參數(shù)對ReLU函數(shù)進行改進，并對所述改進參數(shù)進行訓練更新；

將改進的自門控函數(shù)與改進后的所述ReLU函數(shù)進行融合，得到融合激活函數(shù)；

根據(jù)獲取的剔除閾值對卷積神經網絡模型進行壓縮。

其中，利用改進參數(shù)對ReLU函數(shù)進行改進，并對所述改進參數(shù)進行訓練更新，包括：

根據(jù)獲取的原始ReLU函數(shù)，對所述原始ReLU函數(shù)中自變量小于零的對應的表達式中加入改進參數(shù)，同時擴大所述自變量范圍至小于或等于零，并利用鏈式法則對所述訓練參數(shù)進行更新。

其中，利用改進參數(shù)對ReLU函數(shù)進行改進，并對所述改進參數(shù)進行訓練更新，還包括：

根據(jù)鏈式法則計算出改進后的ReLU函數(shù)對應的梯度表達式，結合對應的權值共享變量，得到所述訓練參數(shù)的梯度表達式，并結合動量法對所述訓練參數(shù)進行更新。

其中，將改進的自門控函數(shù)與改進后的所述ReLU函數(shù)進行融合，得到融合激活函數(shù)，包括：

利用ReLU6函數(shù)將自門控函數(shù)中的Sigmoid函數(shù)進行替換，并與改進后的ReLU函數(shù)進行融合，將自變量大于零的表達式采用改進的ReLU函數(shù)，自變量小于或等于零的表達式采用改進后的自門控函數(shù)，得到融合激活函數(shù)。

其中，根據(jù)獲取的剔除閾值對卷積神經網絡模型進行壓縮，包括：

對獲取的卷積神經網絡模型進行訓練，并記錄原始訓練參數(shù)，同時根據(jù)獲取的剔除閾值，自下而上的刪除所述卷積神經網絡模型中對應的卷積核數(shù)量。

其中，根據(jù)獲取的剔除閾值對卷積神經網絡模型進行壓縮，還包括：