[發(fā)明專利]門控激活單元運(yùn)算的并行執(zhí)行

在審

• 申請?zhí)枺?/td>: 201780095698.1
• 申請日: 2017-10-20
• 公開（公告）號: CN111194451A
• 公開（公告）日: 2020-05-22
• 發(fā)明（設(shè)計）人: 埃里克·康拉德·埃爾森
• 申請（專利權(quán)）人: 淵慧科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06F9/50
• 代理公司: 中原信達(dá)知識產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 周亞榮;鄧聰惠

1.一種在并行處理設(shè)備上實現(xiàn)神經(jīng)網(wǎng)絡(luò)的方法，所述方法包括：

接收所述神經(jīng)網(wǎng)絡(luò)的門控激活單元的多個權(quán)重矩陣，所述門控激活單元具有兩個或更多個層，每一個層定義包括以下的運(yùn)算：(i)該層的權(quán)重矩陣與拼接的輸入向量之間的矩陣運(yùn)算，以及(ii)使用所述矩陣運(yùn)算的結(jié)果的非線性激活運(yùn)算；以及

通過將所述多個權(quán)重矩陣的對應(yīng)行的組分配給相應(yīng)的線程塊來交織所述多個權(quán)重矩陣的行，每一個線程塊是用于由并行處理設(shè)備的多個獨(dú)立處理單元中的一個獨(dú)立處理單元執(zhí)行的計算單元。

2.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括使用所述神經(jīng)網(wǎng)絡(luò)通過以下來處理數(shù)據(jù)：

由每一個線程塊，接收輸入向量；

由每一個線程塊，生成當(dāng)前狀態(tài)向量的相應(yīng)的部分，包括：

使用分配給該線程塊的所述多個權(quán)重矩陣的對應(yīng)行的一個或多個組以及所述輸入向量的拼接來執(zhí)行多個部分矩陣運(yùn)算，以及

使用所述多個部分矩陣運(yùn)算的相應(yīng)的結(jié)果來執(zhí)行多個非線性激活運(yùn)算。

3.根據(jù)權(quán)利要求1或權(quán)利要求2所述的方法，其中，交織所述行包括：將來自所述多個權(quán)重矩陣中的每一個權(quán)重矩陣的至少一個行分配給每一個線程塊。

4.根據(jù)權(quán)利要求1、權(quán)利要求2或權(quán)利要求3所述的方法，其中，交織所述行包括：將相同數(shù)量的行分配給所有線程塊。

5.根據(jù)前述權(quán)利要求中的任一項所述的方法，其中，所述門控激活單元是所述神經(jīng)網(wǎng)絡(luò)的門控循環(huán)單元或長短期記憶單元。

6.根據(jù)前述權(quán)利要求中的任一項所述的方法，其中，由每一個線程塊生成所述當(dāng)前狀態(tài)向量的部分包括：由多個線程塊至少部分地并行生成所述當(dāng)前狀態(tài)向量的多個部分。

7.根據(jù)前述權(quán)利要求中的任一項所述的方法，其中，層的所述運(yùn)算包括：所述層的矩陣運(yùn)算的結(jié)果和所述層的偏置向量之間的偏置加法運(yùn)算，并且進(jìn)一步包括：

將所述偏置向量的部分指配給所述多個線程塊中的每一個線程塊；以及

由每一個線程塊將所述偏置向量的一部分加到矩陣運(yùn)算的結(jié)果中。

8.根據(jù)前述權(quán)利要求中的任一項所述的方法，進(jìn)一步包括：由包交織所述多個權(quán)重矩陣的行，使得所有包從每個權(quán)重矩陣接收一些行并且來自每個權(quán)重矩陣的對應(yīng)行被分配給同一個包。

9.根據(jù)前述權(quán)利要求中的任一項所述的方法，進(jìn)一步包括：由線程交織所述多個權(quán)重矩陣的值，使得所有線程從每個權(quán)重矩陣接收一些值并且來自每個權(quán)重矩陣的對應(yīng)值被分配給同一個線程。

10.一種被配置為在并行處理設(shè)備上實現(xiàn)神經(jīng)網(wǎng)絡(luò)的系統(tǒng)，所述神經(jīng)網(wǎng)絡(luò)包括：

具有多個權(quán)重矩陣的至少一個門控激活單元，所述門控激活單元具有兩個或更多個層，每一個層定義包括以下的運(yùn)算：(i)該層的權(quán)重矩陣和拼接的輸入向量之間的矩陣運(yùn)算，以及(ii)使用所述矩陣運(yùn)算的結(jié)果的非線性激活運(yùn)算；

其中，所述系統(tǒng)被配置為通過將所述多個權(quán)重矩陣的對應(yīng)行的組分配給相應(yīng)的線程塊來交織所述多個權(quán)重矩陣的行，每一個線程塊是用于由所述并行處理設(shè)備的多個獨(dú)立處理單元中的一個獨(dú)立處理單元執(zhí)行的計算單元。

11.根據(jù)權(quán)利要求10所述的系統(tǒng)，進(jìn)一步被配置為：

由每一個線程塊，接收輸入向量；

由每一個線程塊，生成當(dāng)前狀態(tài)向量的相應(yīng)的部分，其中，每一個線程塊被配置為：

使用分配給該線程塊的所述多個權(quán)重矩陣的對應(yīng)行的一個或多個組以及所述輸入向量的拼接來執(zhí)行多個部分矩陣運(yùn)算，以及

使用所述多個部分矩陣運(yùn)算的相應(yīng)的結(jié)果來執(zhí)行多個非線性激活運(yùn)算。

12.根據(jù)權(quán)利要求10或權(quán)利要求11所述的系統(tǒng)被配置為實現(xiàn)根據(jù)權(quán)利要求3-9中的任一項所述的方法。

13.一種存儲計算機(jī)程序指令的有形非暫時性存儲介質(zhì)，所述計算機(jī)程序指令用于實現(xiàn)根據(jù)權(quán)利要求1-9中的任一項所述的方法。