[發明專利]一種基于FPGA的最小二乘支持向量機串行結構實現方法

無效

• 申請號: 201010136012.9
• 申請日: 2010-03-30
• 公開（公告）號: CN101833691A
• 公開（公告）日: 2010-09-15
• 發明（設計）人: 劉涵;王博
• 申請（專利權）人: 西安理工大學
• 主分類號: G06N3/06
• 分類號: G06N3/06;G06N3/08
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 羅笛

1.一種基于FPGA的最小二乘支持向量機串行結構實現方法，其特征在于，該方法按以下步驟實施：

步驟1、根據樣本數量構造LSSVM分類神經網絡的拓撲結構：

根據給定樣本數量構造LSSVM分類學習遞歸神經網絡的拓撲結構為：將1、-γ^-1α_j以及-by_i接入∑中進行求和，∑的輸出端接入積分器∫1，積分器∫1的輸出即為α_j，同時將接入積分器∫2，輸出b值，α_j再經權值-q_ij反饋到相對應的∑中，形成一個遞歸神經網絡；

給定分類訓練集(z_i，y_i)是一組待分類的樣本，i＝1，2，...N，對于所有的z_i∈R^N都有y_i∈(+1，-1)為樣本相對應的類別，其分類決策面為其中W是權值向量，b是閾值，表示訓練樣本從輸入空間到特征空間的非線性映射，LSSVM的分類學習即解決下面受約束的優化問題：

minW,eJ(W,e)=12WTW+γΣi=1lei2---(1)]]>

約束條件：

求解該問題引入Lagrange函數：

其中α_i為Lagrange乘子，利用KKT條件分別對Lagrange函數各個變量求偏導，得到該問題的最優條件：

1-byi-Σj=1Nαjqij-γ-1αi=0---(4)]]>

Σi=1Nαiyi=0---(5)]]>

其中q_ij＝y_iy_j?K_ij，且定義為核函數，

得到LSSVM分類學習神經網絡模型的動態方程：

b.=∂J∂b=Σi=1Nαiyi---(6)]]>

α.i=-∂J∂αi=1-byi-Σj=1Nαjqij-γ-1αi---(7)]]>

其中α_i為Lagrange乘子，b是閾值，(z_i，y_i)是一組待分類的樣本，i＝1，2，...N；

步驟2、選用高斯核函數，選擇參數γ^-1＝1、σ＝1，并計算：

步驟3、結合步驟2的結果，將動態方程(6)、(7)進行離散化處理，并設定步長ΔT值；

將方程(6)、(7)進行離散化處理后得到離散動態方程(8)、(9)

b(t+ΔT)=ΔTΣi=1Nαi(t)yi(t)+b(t)---(8)]]>

αi(t+ΔT)=ΔT(1-b(t)yi-Σj=1Nαj(t)qij-γ-1αi(t))+αi(t);---(9)]]>

步驟4、設定帶補碼的二進制編碼的位數，其中包括整數位的位數和小數位的位數；

步驟5、按照步驟4所設定的二進制編碼的位數構造基本的元件庫，包括運算單元、存儲單元和控制單元；

運算單元包括乘累加單元MAC、乘法器單元Mul、減法器單元Sub、累加器單元ADD；

存儲單元包括ROM和RAM；

控制單元調用ISE9.1中IP核，實現MAC、Mul、Sub、ADD和ROM；

步驟6、利用步驟5得到的元件庫，構建neuro神經元單元；

步驟7：利用步驟5得到的元件庫，構建Bisa_b神經元單元；

步驟8：完成串行計算功能模塊的構建

使每個神經元受控于一個時鐘控制信號，每個神經元一個周期內計算完畢后，產生一個有效控制信號，當神經網絡控制單元接收到的所有神經元的控制信號有效時，產生一個總的有效控制信號使全部神經元進入下一周期的運算，當網絡進行遞歸運算直至穩定時，即求得收斂參數α，b。