[發明專利]基于分布式估計算法的手寫體數字圖像識別深度神經網絡參數優化方法及系統

有效

• 申請號: 201910309944.X
• 申請日: 2019-04-17
• 公開（公告）號: CN110033089B
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 許慶陽;劉安邦;張承進;宋勇;張立;袁憲鋒;楊潤濤
• 申請（專利權）人: 山東大學
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 董雪

本發明公開了一種基于分布式估計算法的手寫體數字圖像識別深度神經網絡參數優化方法及系統，包括：初始化種群，將種群中每一個個體解碼為深度神經網絡；對上述深度神經網絡的分類能力進行評價；對種群中的個體優劣進行排序；隨機產生掩碼向量，根據掩碼向量及統計學參數確定待求解變量本次迭代的概率分布模型；依據掩碼向量與概率分布模型采樣，生成新的種群個體；獲得最優分布式估計算法個體；利用梯度優化算法，對分布式估計算法獲得的深度神經網絡模型進行微調，獲得最優深度神經網絡參數。本發明將分布式估計算法和深度神經網絡的優化相結合，利用分布式估計算法的全局搜索能力，減少神經網絡優化過程中對梯度信息的依賴。

技術領域

本發明屬于信息處理技術領域，具體涉及一種基于分布式估計算法的手寫體數字圖像識別深度神經網絡參數優化方法及系統。

背景技術

本部分的陳述僅僅是提供了與本發明相關的背景技術信息，不必然構成在先技術。

近年來，深度神經網絡作為人工智能領域的一個重要分支，獲得了快速的發展。深度神經網絡參數優化是一個大規模參數優化問題，神經網絡依靠訓練修正連接參數，當前的深度神經網絡參數優化方法主要是基于梯度信息的反向傳播算法，梯度算法具有一定的局限性，易陷入局部極小、梯度消失或爆炸等問題。

分布式估計算法是一種基于群體進化的優化算法。通過估計問題解的概率模型，然后經過采樣生成新的解的種群，經過反復迭代最終搜索到問題的最優解。發明人發現，分布式估計算法具有很好的全局收斂性，有利于搜索問題全局最優解；但分布式估計算法對于大規模參數優化問題不理想。

發明內容

為了解決上述問題，本發明提出一種基于分布式估計算法的手寫體數字圖像識別深度神經網絡參數優化方法及系統，能夠克服基于梯度的神經網絡優化方法及傳統分布式估計算法處理大規模參數優化問題不理想的缺點。

在一些實施方式中，采用如下技術方案：

一種基于分布式估計算法的手寫體數字圖像識別深度神經網絡參數優化方法，包括：

初始化種群，將種群中每一個個體解碼為深度神經網絡；

對上述深度神經網絡的分類能力進行評價，將分類誤差作為種群中個體優劣的評價指標；

對種群中的個體優劣進行排序，選取最優的前t個個體構建優勢群體，并計算每個變量的統計學參數；

隨機產生掩碼向量，根據掩碼向量及統計學參數確定待求解變量本次迭代的概率分布模型；

依據掩碼向量與概率分布模型采樣，生成新的種群個體；

迭代終止，獲得最優分布式估計算法個體，解碼為深度神經網絡模型；

利用梯度優化算法，對分布式估計算法獲得的深度神經網絡模型進行微調，獲得最優深度神經網絡參數。

進一步地，對上述深度神經網絡的分類能力進行評價，具體為：利用輸入樣本數據集對深度神經網絡的分類能力進行評價，將分類誤差作為種群個體的優劣評價指標：

其中，I為輸入樣本，T為標簽信息，E為分類誤差，n為樣本數量。

進一步地，計算每個變量的統計學參數，具體為：

其中，(u_i,σ_i)為根據所選優勢個體計算的第i個變量的均值與方差，BN為優勢個體數量，n為所選優勢個體中的某一個體，x_i為個體的第i個變量。

進一步地，根據掩碼向量確定待求解變量的更新模式，具體為：