[發明專利]一種PSO-BFGS神經網絡訓練算法

在審

• 申請號: 201711158655.1
• 申請日: 2017-11-20
• 公開（公告）號: CN109816103A
• 公開（公告）日: 2019-05-28
• 發明（設計）人: 李佳峻;劉強
• 申請（專利權）人: 天津大學
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/00
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉子文

1.一種PSO-BFGS神經網絡訓練算法，其特征在于，包括以下步驟：

(1)劃分任務：所述PSO-BFGS神經網絡訓練算法包括計算任務和控制任務，控制任務由CPU完成；計算任務由GPU完成，包括PSO算法、BFGS擬牛頓算法，所述PSO算法分為四個內核函數kernel，所述BFGS算法分為五個內核函數kernel；

(2)以PSO算法為主體，BFGS算法作為PSO算法的輔助，所述PSO算法負責全局搜索，經過迭代，產生的最優解作為BFGS的輸入，之后用BFGS算法做局部精細搜索；PSO算法和BFGS算法的目標函數為神經網絡訓練誤差評估函數；

(3)對PSO算法和BFGS擬牛頓算法進行并行度劃分；

(4)通過PSO算法和BFGS算法實現神經網絡訓練誤差評估函數，在PSO算法中，通過全部的訓練數據計算每個work-item，在BFGS擬牛頓算法中，每個work-item計算一組訓練數據對應的輸出神經元的值；

(5)并行實現PSO算法；

(6)并行實現BFGS擬牛頓算法；

(7)并行歸約。

2.根據權利要求1所述一種PSO-BFGS神經網絡訓練算法，其特征在于，所述控制任務包括初始數據由主機端到計算設備端的傳輸控制、計算結果由計算設備端到主機端的傳輸、數據在PSO與BFGS算法之間的傳遞、是否達到迭代次數上限的條件判斷、訓練誤差是否符合要求的判斷以及控制計算任務是否終止。

3.根據權利要求1所述一種PSO-BFGS神經網絡訓練算法，其特征在于，步驟(5)具體包括以下步驟：

1)產生隨機數：內核函數將線性同余隨機數產生方法并行實現，先由主機斷產生初始隨機數種子并傳入GPU端，以此為初始隨機數種子逐代產生隨機數，每一代的隨機數種子均為上一代的隨機數，在并行實現中，每一個work-item產生一組連接權所需的隨機數；

2)更新粒子速度和位置：內核函數調用1)中的隨機數以及全局最優粒子位置和個體歷史最優位置更新粒子速度，使用更新后的粒子速度與前一次的粒子位置更新粒子位置坐標；

3)計算神經網絡訓練誤差；

4)更新全局最優和粒子歷史最優位置：通過比較上一次歷史最優位置與本次出現的新的粒子位置所對應的神經網絡訓練誤差的大小，小者定為粒子歷史最優位置坐標，每一個線程計算一組權重的歷史最優位置，通過并行歸約產生全局最優位置。

4.根據權利要求1所述一種PSO-BFGS神經網絡訓練算法，其特征在于，步驟(6)具體包括以下步驟：

1)計算神經網絡訓練誤差；

2)計算搜索方向：通過海森矩陣H和梯度g，每一個work-item讀取矩陣H的一行數據與梯度g進行乘累加運算產生搜索方向dir的一個元素；

3)黃金分割法求步長：首先初始化一個步長區間并計算該段區間的兩個黃金分割點,再以這兩個點為步長更新w,然后調用E_T函數分別求兩組w對應的值并比較大小,留下較小的步長并刪除較大步長外側的一段區間；如此反復,直到剩下的步長區間小于一個定值,停止迭代并確定步長；

4)計算神經網絡訓練誤差函數梯度：逐層計算每組權重w中各個元素的偏導數，后使用并行歸約的方法求各個元素偏導數的和，得到神經網絡訓練誤差函數梯度g；

5)計算海森矩陣H：由3)和4)計算得到的權重w和梯度g通過公式(5)(6)計算得到s和z，再由這兩個向量依照公式(7)計算得到x，最后根據公式(8)計算海森矩陣：

s_k＝w_k+1-w_k (5)

z_k＝g_k+1-g_k (6)