[發明專利]一種基于SVM技術的離散前向神經網絡分類器的優化方法

在審

• 申請號: 201610005936.2
• 申請日: 2016-01-04
• 公開（公告）號: CN105678328A
• 公開（公告）日: 2016-06-15
• 發明（設計）人: 鐘水明;楊萍;彭路;羅波;孫昊;陸曉翔;顧菁卿
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08
• 代理公司: 江蘇愛信律師事務所 32241
• 代理人: 唐小紅

技術領域

本發明屬于人工智能中的機器學習領域，具體涉及一種基于SVM技術的離散前向 神經網絡分類器的優化方法。

背景技術

離散前向神經網絡(BFNN)是一種最早提出也是最廣泛應用的離散前向人工神經 網絡模型，采用的是有監督學習機制。雖然說離散問題可視為連續問題的特例，可用BP學習 算法之類的來解決問題，但是BFNN還是存在一些明顯的優勢：一方面，它更適合處理一些本 質為離散且連續技術不適用的問題，如信號處理、邏輯運算、模式分類等；另一方面，更有利 于利用VLSI技術進行其硬件實現。

然而，到目前為止，離散前向神經網絡學習算法還不夠完善。主流的學習算法研究 大致可以分為兩塊：一個是自適應學習算法，另一個是幾何構造算法。前者通常由感知機學 習規則擴展而來，后者是基于輸入模式的幾何分布特性，通過構造分類超平面系來獲得網 絡參數。但無論是自適應學習算法還是幾何構造算法，在學習效果很學習效率方面都很難 應用到工程當中去。目前，比較有效的學習算法當屬基于敏感性的自適應學習算法 (SBALR)，該算法是針對BFNN提出來的權參數自適應學習算法。該算法設計主要遵循三條基 本學習原則：“最小擾動原則”、“有利原則”以及“任務分攤原則”，在次基礎上設計了三條學 習規則，其中最為重要的學習規則是權參數自適應調節規則，具體可參照鐘水明教授在 IEEE上發表的基于敏感性的二值前向神經網絡的自適應學習算法。

支持向量機(SVM)是在統計學習基礎上發展起來的新一代學習算法，該算法在理 論基礎上有較強的優勢，它能夠保證找到的極值解就是全局最優解而并非是局部最小值， 這就保證了SVM算法對未知樣本有較好的泛化能力，正因為這些優勢，SVM在文本分類、圖像 分類、生物信息學等眾多領域獲得較好的應用。

SVM在解決線性可分問題的時候能夠確立一個最有超平面，來提升分類器的泛化 性能。但是在實際應用中，大部分問題都是線性不可分的。在面對非線性可分問題時，SVM的 性能很大程度上還是依賴于核函數的選擇，并沒有一個通用的方案，從而使得SVM在工程應 用中受到阻礙。

發明內容

本發明針對離散前向神經網絡(BFNN)具有明顯的結構優勢，但現有學習算法還難 以獲得令人滿意的泛化性能這一現實問題，借助SVM解決線性可分問題的技術優勢，用SVM 技術來優化訓練后的BFNN，能夠極大地改善分類器的泛化性能，從而進一步促進BFNN在模 式識別以及電子通信領域更加廣泛的應用。

技術方案：在現有的BFNN神經網絡學習泛化能力還不理想的情況下，訓練樣本數 據，分解神經元數集，再重新組織更完善更契合的映射關系，通過SVM技術找到更優的權參 數，并且能夠通過SVM技術改善BFNN神經網絡泛化性能，從而獲得更優的學習性能。

本發明為實現上述發明目的采用如下技術方案：

步驟1)，對給定樣本集S進行訓練，建立映射關系,確立一個BFNN分類器。具體可描 述為先隨機初始化一個離散前向神經網絡，根據基于敏感性的自適應學習算法(SBALR)訓 練給定樣本S從而得到一個BFNN分類器；

步驟2)，讀取已獲得的BFNN分類器的網絡信息，包括網絡所含層數L，每層所含神 經元個數n^l，其中，表示l網絡的層數序號，選擇一個樣本X_i(一般從給定樣本集S的第一個開 始)；

步驟3)，判斷樣本序號是否在給定樣本集S中，如果在，則讀取樣本X_i，否則，則跳 出步驟3)；

步驟4)，對已訓練好的BFNN分類器的網絡層數進行編號，并定位網絡的層號l(一 般從網絡第1層)；

步驟5)，判斷網絡層號是否屬于該網絡所含層數，如果是，則對于定位到的第l層， 對該層的神經元進行編號，并且具體定位到第l層的第j個神經元(j一般從該層第1個神經 元開始)，否則，則網絡中所有神經元在該樣本X_i下均已計算完畢，此時，需要下一個樣本的 讀入，跳到步驟4)；

步驟6)，判斷一個神經元的編號j是否屬于原網絡該層的神經元個數；如果是，則計算出該神經元在樣本輸入下對應的輸出，形成的新的集合；否則，則說明該層神經元對應的輸入輸出集均已計算完畢，則進入下一層神經元進行同樣的計算；