[發明專利]一種PSO-BFGS神經網絡訓練算法

在審

• 申請號: 201711158655.1
• 申請日: 2017-11-20
• 公開（公告）號: CN109816103A
• 公開（公告）日: 2019-05-28
• 發明（設計）人: 李佳峻;劉強
• 申請（專利權）人: 天津大學
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/00
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉子文

本發明公開了一種PSO?BFGS神經網絡訓練算法，包括以下步驟(1)劃分任務：(2)PSO算法負責全局搜索，經過迭代，產生的最優解作為BFGS的輸入，之后用BFGS算法做局部精細搜索；(3)對PSO算法和BFGS擬牛頓算法進行并行度劃分；(4)通過PSO算法和BFGS算法實現神經網絡訓練誤差評估函數；(5)并行實現PSO算法；(6)并行實現BFGS擬牛頓算法；(7)并行歸約。該算法是基于粒子群算法(PSO)和BFGS擬牛頓算法的神經網絡訓練并行算法，采用GPU作為神經網絡訓練計算設備，與其他優化算法相比兼具較高的收斂效率和全局搜索能力。使用OpenCL作為編程語言實現，與使用CUDA語言的實現相比具有較高的可移植性，可以在不同廠家的GPU以及FPGA上使用。

技術領域

本發明屬于高性能計算與機器學習領域，具體涉及一種PSO-BFGS神經網絡訓練算法。

背景技術

人工神經網絡是一種信息處理系統,它可以通過一系列數據學習任何輸入輸出關系,并建立準確的模型。目前,人工神經網絡面臨的主要挑戰之一就是訓練。在訓練之前,神經網絡不攜帶任何信息；經過訓練,神經網絡的權重值得以確定,從而基于訓練數據建立精確的模型。神經網絡權重值的確定過程,是一個優化過程,即神經網絡通過各種優化算法經過反復迭代計算得出比較精確的擬合權重值。傳統的神經網絡訓練的優化算法主要都是一些基于梯度下降的方法，比如梯度下降法、擬牛頓算法(QN)以及共軛梯度算法(CG)等，這些算法的收斂速度很快，但是往往容易陷入局部收斂的情況。為了解決這一問題，一些學者引入全局搜索能力較強的PSO算法來訓練神經網絡，但PSO算法不但耗時巨大而且收斂性不如基于梯度下降的方法。因此，為了平衡全局搜索能力與收斂速度，有人將PSO算法與BFGS擬牛頓算法相結合。然而，隨著算法復雜度的提升，神經網絡訓練過程變的更加耗時。

隨著GPU技術的快速發展，當前GPU已經具備很強的并行計算能力和數據處理能力，但GPU的邏輯處理能力與CPU相比還有很大差距，因此，急需綜合考慮速度提升、方法擴展性以及設計成本。

發明內容

本發明的目的是為了克服現有技術中的不足，提供一種PSO-BFGS神經網絡訓練算法，也即基于粒子群算法(PSO)和BFGS擬牛頓算法的神經網絡訓練并行算法，采用GPU作為神經網絡訓練計算設備，有限解決傳統人工神經網絡在訓練過程中局部收斂的問題的同時兼顧收斂速度。

本發明的目的是通過以下技術方案實現的：

一種PSO-BFGS神經網絡訓練算法，其特征在于，包括以下步驟：

(1)劃分任務：所述PSO-BFGS神經網絡訓練算法包括計算任務和控制任務，控制任務由CPU完成；計算任務由GPU完成，包括PSO算法、BFGS擬牛頓算法，所述PSO算法分為四個內核函數(kernel)，所述BFGS算法分為五個內核函數(kernel)；

(2)以PSO算法為主體，BFGS算法作為PSO算法的輔助，所述PSO算法負責全局搜索，經過迭代，產生的最優解作為BFGS的輸入，之后用BFGS算法做局部精細搜索；PSO算法和BFGS算法的目標函數為神經網絡訓練誤差評估函數；

(3)對PSO算法和BFGS擬牛頓算法進行并行度劃分；

(4)通過PSO算法和BFGS算法實現神經網絡訓練誤差評估函數，在PSO算法中，通過全部的訓練數據計算每個work-item，在BFGS擬牛頓算法中，每個work-item計算一組訓練數據對應的輸出神經元的值；

(5)并行實現PSO算法；

(6)并行實現BFGS擬牛頓算法；

(7)并行歸約。