[發明專利]一種基于FPGA的最小二乘支持向量機串行結構實現方法

無效

• 申請號: 201010136012.9
• 申請日: 2010-03-30
• 公開（公告）號: CN101833691A
• 公開（公告）日: 2010-09-15
• 發明（設計）人: 劉涵;王博
• 申請（專利權）人: 西安理工大學
• 主分類號: G06N3/06
• 分類號: G06N3/06;G06N3/08
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 羅笛

技術領域

本發明屬于模式識別技術領域，涉及一種基于FPGA的最小二乘支持向量機串行結構實現方法。

背景技術

支持向量機(Support?Vector?Machines，SVM)是一種基于結構風險最小化原則的機器學習理論，它綜合了統計學習、機器學習和神經網絡等方面的理論，并被證明在最小化結構風險的同時，可有效地提高算法的推廣能力。目前對支持向量機的研究主要集中在理論研究和算法的優化方面。與之相比，其應用研究和算法實現的研究則相對較少，目前只有較為有限的實驗研究報道。同時這些算法大多只能用計算機軟件來實現，而不適合模擬硬件的實現，這顯然大大的限制了SVM在實際中的應用。

目前已有神經網絡與支持向量機結合的方法，并通過搭建模擬電路實現了對少量訓練樣本的分類計算，但是實現支持向量機學習神經網絡的模擬電路對電阻值的依賴性很大，不同的分類實例會導致不同的神經網絡結構與模擬電路結構。近年來FPGA技術的發展非常迅速，FPGA本身具有可重構、消耗低、適應性強和設計簡單等優點，目前已有在FPGA環境下的并行結構的支持向量機神經網絡實現方法，此方法克服了模擬電路環境下的對硬件的依賴性，提高了SVM的實用性，但是由于采用了并行結構，造成FPGA資源的浪費，對于大規模樣本的訓練難以實現。最小二乘支持向量機(英文的拼寫是Least?Square?Support?Vector?Machines，以下簡稱縮寫為LSSVM)，因此提出一種基于最小二乘支持向量機的方法，既可以達到要求而又減少資源利用，是十分必要的。

發明內容

本發明的目的是，提供一種基于FPGA的最小二乘支持向量機串行結構實現方法，以便減少對FPGA資源的消耗，提高硬件實現的靈活性。

本發明采用的技術方案是，一種基于FPGA的最小二乘支持向量機串行結構實現方法，該方法按以下步驟實施：

步驟1、根據樣本數量構造LSSVM分類神經網絡的拓撲結構：

根據給定樣本數量構造LSSVM分類學習遞歸神經網絡的拓撲結構為：將1、-γ^-1α_j以及-by_i接入∑中進行求和，∑的輸出端接入積分器∫1，積分器∫1的輸出即為α_j，同時將接入積分器∫2，輸出b值，α_j再經權值-q_ij反饋到相對應的∑中，形成一個遞歸神經網絡；

給定分類訓練集(z_i，y_i)是一組待分類的樣本，i＝1，2，...N，對于所有的z_i∈R^N都有y_i∈(+1，-1)為樣本相對應的類別，其分類決策面為其中W是權值向量，b是閾值，表示訓練樣本從輸入空間到特征空間的非線性映射，LSSVM的分類學習即解決下面受約束的優化問題：

minW,eJ(W,e)=12WTW+γΣi=1lei2---(1)]]>

約束條件：

i＝1，...l??????????????(2)

求解該問題引入Lagrange函數：

其中α_i為Lagrange乘子，利用KKT條件分別對Lagrange函數各個變量求偏導，得到該問題的最優條件：