[發(fā)明專利]一種針對大規(guī)模腦仿真的快速通信方法

在審

• 申請?zhí)枺?/td>: 202211327864.5
• 申請日: 2022-10-27
• 公開（公告）號: CN115906966A
• 公開（公告）日: 2023-04-04
• 發(fā)明（設(shè)計）人: 蔡炎松;王俊宜;梁華駒;喻富豪;朱苗;杜帥帥;賈海波;李啟斌;何福存
• 申請（專利權(quán)）人: 中國電子科技南湖研究院
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 楊天嬌

本發(fā)明公開了一種針對大規(guī)模腦仿真的快速通信方法，提供了基于GPU?Direct技術(shù)的通訊方式，可通過GPU數(shù)據(jù)間的直接通信減少了內(nèi)存與顯存間的數(shù)據(jù)交互，并針對脈沖數(shù)據(jù)不均衡、脈沖數(shù)據(jù)量大等問題提出基于多GPU的數(shù)據(jù)編解碼方案，能夠在大規(guī)模類腦網(wǎng)絡(luò)建立時按進(jìn)程排列神經(jīng)元簇，使同進(jìn)程的神經(jīng)元簇分配在連續(xù)的地址空間中，并以此設(shè)計編碼、解碼方式用以壓縮傳輸脈沖數(shù)據(jù)，保證脈沖數(shù)據(jù)依據(jù)多計算節(jié)點(diǎn)集群信息進(jìn)行數(shù)據(jù)編碼壓縮與解碼時，每次通信數(shù)據(jù)量是確定的固定值且只與神經(jīng)元數(shù)量有關(guān)，減少了計算節(jié)點(diǎn)間的數(shù)據(jù)通訊量，解決了在傳統(tǒng)大規(guī)模類腦仿真中通訊耗時、內(nèi)存顯存交互耗時和通信量不穩(wěn)定的問題，適配于多種硬件設(shè)備。

技術(shù)領(lǐng)域

本發(fā)明屬于通信技術(shù)領(lǐng)域，具體涉及一種針對大規(guī)模腦仿真的快速通信方法。

背景技術(shù)

類腦計算繼承了大腦低功耗、高并行、高容錯、存算一體、事件驅(qū)動等特征，適合實(shí)時處理非結(jié)構(gòu)化復(fù)雜信息，具有超高并行、超高速、超低功耗、高魯棒等特性。目前，生物腦是世界上已知的唯一的通用智能系統(tǒng)，理解并借鑒仿生物腦的智能機(jī)制，近實(shí)時的仿真甚至訓(xùn)練具有生物可解釋性的復(fù)雜大規(guī)模腦仿真網(wǎng)絡(luò)，是實(shí)現(xiàn)強(qiáng)人工智能的重要且不可替代的途徑之一。其中，計算速度與通信能力是構(gòu)建與運(yùn)行大規(guī)模腦仿真網(wǎng)絡(luò)的重要指標(biāo)。基于軟件方式的仿真擁有完整的應(yīng)用生態(tài)，具有良好的可用性，但在仿真速度上卻與生物時間相去甚遠(yuǎn)。

基于軟件的類腦仿真的仿真速度受制于許多因素，其中計算資源與通訊時延是影響仿真時間的兩個重要因素。傳統(tǒng)的計算資源包括中央處理器(CPU)與圖形處理器(GPU)，其中CPU擁有良好的處理復(fù)雜邏輯的能力，但其并行性會受到計算機(jī)性能的限制。近年來，GPU在通用計算領(lǐng)域應(yīng)用較為廣泛，高端GPU顯卡的浮點(diǎn)運(yùn)算最高可以達(dá)到每秒萬億次，GPU的并行計算方式相較于CPU并行方法量級更輕，加速效果更為明顯。因此，基于CPU-GPU異構(gòu)并行架構(gòu)進(jìn)行類腦仿真軟件的開發(fā)對于提高類腦仿真速度具有關(guān)鍵意義。

大規(guī)模的腦仿真計算需要使用多個GPU并行以達(dá)到提升仿真速度的效果，因此多機(jī)間的通訊時延會極大的影響仿真的速度。傳統(tǒng)的通訊方式(如MPI信息傳遞接口)僅支持?jǐn)?shù)據(jù)在內(nèi)存上進(jìn)行相互通訊。所以，仿真時存在顯存上的脈沖數(shù)據(jù)需要拷貝到內(nèi)存中才能進(jìn)行機(jī)器間的通訊，這增加了通訊的開銷。且隨著腦仿真任務(wù)規(guī)模的不斷地擴(kuò)大，分布式的訓(xùn)練框架成為了大規(guī)模腦仿真任務(wù)的重要選擇。然而，脈沖數(shù)量的增多也會導(dǎo)致進(jìn)程間通信的數(shù)據(jù)量增大從而增大進(jìn)程間的通訊時間，如何在多個進(jìn)程間傳遞消息成為了大規(guī)模腦仿真框架的瓶頸。傳統(tǒng)方案主要依賴MPI技術(shù)實(shí)現(xiàn)多進(jìn)程間的通信。如現(xiàn)有技術(shù)支持大規(guī)模腦仿真的框架包括如下方案：

基于NEST腦仿真框架，作為歐洲“人腦計劃”(the?Human?Brain?Project,簡稱“HBP”)的核心模擬器，基于CPU超算的并行計算架構(gòu)，提出按照神經(jīng)元的索引，將神經(jīng)元順序的分配到每個線程中，不同線程間的神經(jīng)元通過MPI技術(shù)進(jìn)行通信。NEST-Simulator是一個支持大規(guī)模分布式脈沖神經(jīng)網(wǎng)絡(luò)仿真的框架，它依賴CPU來進(jìn)行仿真。在NEST腦仿真框架中神經(jīng)元會按照創(chuàng)建順序獲得一個全局id(身份證標(biāo)識號)，然后根據(jù)這個id將神經(jīng)元放置到一個虛擬進(jìn)程上，因此一個神經(jīng)元簇的神經(jīng)元可能會分布到整個系統(tǒng)所有的機(jī)器上。這樣帶來了一個缺點(diǎn)是在仿真過程中所有機(jī)器之間都需要進(jìn)行通信，所有機(jī)器之間的最大延遲和最小帶寬很容易成為限制仿真速度的瓶頸。此外在NEST腦仿真框架中，通信的時候只考慮了神經(jīng)元之間具體的連接，例如現(xiàn)在有兩臺機(jī)器，機(jī)器1上有一個神經(jīng)元n和機(jī)器2上的10個神經(jīng)元之間分別有一條突觸連接，那么機(jī)器1上的神經(jīng)元n發(fā)出脈沖的時候需要向機(jī)器2發(fā)送的數(shù)據(jù)量是一條連接數(shù)據(jù)量的10倍。即機(jī)器之間的通信量和機(jī)器之間發(fā)出脈沖的神經(jīng)元的突觸連接總數(shù)成線性關(guān)系，這樣的方式會導(dǎo)致通信量很大，對網(wǎng)絡(luò)帶寬也有較高的要求。