[發明專利]一種基于并行化的類腦仿真編譯的加速方法

有效

• 申請號: 202011492285.7
• 申請日: 2020-12-16
• 公開（公告）號: CN112651504B
• 公開（公告）日: 2023-08-25
• 發明（設計）人: 黃凱;王弘遠;陳剛
• 申請（專利權）人: 中山大學
• 主分類號: G06N3/10
• 分類號: G06N3/10;G06F8/41
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 陳偉斌

本發明涉及神經網絡仿真技術領域，具體涉及一種基于并行化的類腦仿真編譯的加速方法，包括以下步驟：S1、構建神經網絡時，創建若干個族群，每個族群包含上百萬個神經元；S2、按照神經元族群并行構建神經元數組；S3、按照族群之間的連接并行構建突觸數組以及神經元到突觸數組的映射關系。本發明的基于并行化的類腦仿真編譯的加速方法，通過并行算法加速仿真框架的速度，大大減少了用戶的等待時間。

技術領域

本發明涉及神經網絡仿真技術領域，具體涉及一種基于并行化的類腦仿真編譯的加速方法。

背景技術

在使用GPU進行仿真脈沖神經網絡之前，需要將用戶輸入的神經網絡拓撲結構數據編譯成適合在GPU內并行仿真的數據結構。對于超大規模的神經網絡，在CPU內串行地進行編譯會消耗大量的時間，從而降低仿真框架的使用體驗。中國專利CN110908667A公開了一種神經網絡聯合編譯的方法、裝置和電子設備，其中采用的是串行的方式進行編譯，耗時長，使用體驗差。

發明內容

為了克服現有技術所存在的缺陷，本發明提供了一種基于并行化的類腦仿真編譯的加速方法，通過并行算法加速仿真框架的速度，減少用戶的等待時間。

為解決上述技術問題，本發明提供以下技術方案：

一種基于并行化的類腦仿真編譯的加速方法，包括以下步驟：

S1、構建神經網絡時，創建若干個族群，每個族群包含上百萬個神經元；

S2、按照神經元族群并行構建神經元數組；

S3、按照族群之間的連接并行構建突觸數組以及神經元到突觸數組的映射關系。

目前很多主流的類腦仿真框架在用戶輸入神經網絡數據的時候都是讓用戶按照神經元族群的方式輸入神經元數據，并讓用戶在神經元族群之間按照用戶指定的某種方式建立突觸連接，所謂族群指的是一組具有相同模型和相同屬性的神經元節點，在構建神經網絡時，創建若干個族群，每個族群包含上百萬個神經元，而進一步的，在步驟S2中，由于所有的神經元都要統一放在一個大數組中，而用戶提供的又是神經元族群數據，因此先將所有族群的節點數進行并行前綴求和構建族群-數組映射表，確定總的神經元數以及各個族群在神經元大數組中第一個神經元的下標。

進一步的，為大數組的每個元素分配一個線程，然后并行地編譯神經元數據。

進一步的，每個線程按照所對應的大數組下標以及族群-數組映射表，找到所對應的族群，將族群中的神經元參數復制到當前的數組元素中，完成神經元數據的編譯。

進一步的，線程通過二分查找的方式找到所對應的族群。

進一步的，在步驟S3中，先根據用戶輸入的連接數據確定每個族群中單個神經元的總輸出突觸數，然后按照前面的族群-數組映射表并行地將每個神經元的輸出突觸數存放在一個數組中，然后對該數組進行前綴求和，從而得到神經元-輸出突觸映射表，根據該表最后一個元素可確定總的突觸數，從而確定突觸數組的長度，另外在仿真時還可以通過該表快速找到對應的輸出突觸，最后為每一個神經元、每一個突觸分配一個線程，并行地構建突觸數組。在確定突觸數組元素方面，可根據神經元-輸出突觸映射表以及線程的編號。

進一步的，突觸是在族群之間建立，建立的方式為：一對一模式或全連接模式或按照全連接的比例進行隨機構建，在確定突觸后神經元的下標時，根據突觸構建方式來決定具體方式。

進一步的，對于一對一模式，突觸后神經元下標＝當前神經元下標-所在族群的第一個神經元下標+突觸后的族群的第一個神經元下標。

進一步的，對于全連接模式，突觸后神經元下標＝突觸后的族群的第一個神經元下標+線程相對于當前神經元以及當前連接的下標。

進一步的，對于按比例構建突觸，具體方法如下：