[發明專利]一種基于多局部搜索的神經網絡進化方法

在審

• 申請號: 201610012847.0
• 申請日: 2016-01-08
• 公開（公告）號: CN105701542A
• 公開（公告）日: 2016-06-22
• 發明（設計）人: 單鵬霄;盛偉國;陳志強;盧夢雅
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 杭州斯可睿專利事務所有限公司 33241
• 代理人: 王利強

技術領域

本發明屬于神經網絡領域，應用于人工智能、機器學習、智能算 法、模式識別、數據挖掘和語音識別等領域，尤其涉及一種基于多局 部搜索的神經網絡進化方法。

背景技術

人工神經網絡已經被廣泛地應用于許多科學問題，例如模式識別， 分類、聚類和回歸等問題。人工神經網絡的性能很大程度上依賴于網 絡的框架，網絡框架過大可能導致對訓練集的過適應，這是因為網絡 框架越大則處理信息的能力越強，另一方面，網絡框架過小可能導致 對數據訓練不充足，這是因為網絡框架越小則處理信息的能力越弱。 這兩種情況都將降低神經網絡的泛化能力。因此，設計合適的網絡框 架來解決不同的問題是必要的。

Backpropagation(BP)算法是最為傳統的神經網絡訓練算法，通 過信息的反饋不斷調節結點間的權值。然而，它只能訓練固定框架的 神經網絡，并且對初始化的權值很敏感，所以BP算法往往會陷入局部 最優空間內搜索。此外，構造法和修剪法也被用于設計神經網絡。構 造法先是初始化一個小的網絡框架，在訓練過程中增加結點和權值， 直到條件符合。然而，修剪法先是初始化一個大的網絡框架，在訓練 過程中刪除多余的結點和權值，直到條件符合。最近幾年，有研究人 員提出了混合訓練法，將構造法和修剪法進行結合，在訓練過程既可 以增加結點和權值，又能刪除結點和權值，目的是能根據不同問題和 訓練過程，自適應地調節網絡的框架。然而，構造法、修剪法和混合 訓練法的結合都是基于爬山算法，所以也將陷入局部最優。

為了避免陷入局部最優解，很多研究者提出了使用進化算法 (EvolutionaryAlgorithm)來優化神經網絡，包括網絡中的權值、 框架和學習規則。這是因為進化算法有很強的全局搜索能力，能找到 全局最優或近似最優的神經網絡個體?；谶M化算法的方法可大致分 為兩類：第一類是只依賴進化算法來優化神經網絡框架，另一類是在 使用進化算法的同時加入了一些局部搜索算法，加快搜索進程。然而， 對于復雜問題的優化，例如神經網絡的優化，加入單一的局部搜索算 法并不能取得很好的效果。此外，傳統的進化算法往往會容易過早收 斂。

發明內容

為了克服已有神經網絡進化方法的容易過早收斂、計算速度較慢 的不足,本發明提供了一種有效避免過早收斂、計算速度較快的基于多 局部搜索的神經網絡進化方法。

本發明解決其技術問題所采用的技術方案是：

一種基于多局部搜索的神經網絡進化方法，包括如下步驟：

步驟1、生成一個M層神經網絡的種群，每個網絡個體使用實數 編碼，網絡個體中隱結點的個數和權值被隨機初始化，M≥3，且為自 然數；

步驟2、計算每個網絡個體的適應度值；

步驟3，根據網絡個體的適應度從高到低選擇個體生成新的種群；

步驟4、每個網絡個體進行突變操作，突變的概率基于個體的的 適應度在種群中的排序；

步驟5、每個網絡個體進行多局部搜索機制來調節網絡中的隱結 點個數和權值；

步驟6、使用一次迭代的BP算法來調整權值；

步驟7、計算子代個體的適應度值，并且將父代和子代合并成一 個種群；

步驟8、使用精英策略選擇個體生成新的種群

步驟9、判斷停止標準是否滿足，如果不滿足，返回步驟3，如 果滿足，選擇最優網絡個體，并對測試集進行分類預測。

本發明的有益效果主要表現在：在進化過程中，引入了多個局部 搜索操作，并且設計了一種自適應地方法促進局部搜索操作間相互競 爭和合作，能快速有效地調整網絡個體的框架。此外，應用了一種新 的突變策略，能有利于避免陷入種群過早地收斂。本發明的最終目的 是能加快進搜索全局最優個體或近似最優個體。

附圖說明

圖1是本發明優化神經網絡的流程圖。

圖2是本發明中網絡框架示意圖。

圖3是本發明中個體編碼方式示意圖。

具體實施方式

下面結合附圖對本發明作進一步描述。

參照圖1～圖3，一種基于多局部搜索的神經網絡進化方法，包括 如下步驟：

步驟1、生成一個M層神經網絡的種群，每個網絡個體使用實數 編碼，網絡個體中隱結點的個數和權值被隨機初始化，M≥3，且為自 然數；

步驟2、計算每個網絡個體的適應度值；