[發(fā)明專利]語(yǔ)言模型中嵌入模塊計(jì)算優(yōu)化的方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202210531140.6
• 申請(qǐng)日: 2022-05-16
• 公開（公告）號(hào): CN115034198B
• 公開（公告）日: 2023-05-12
• 發(fā)明（設(shè)計(jì)）人: 李敏;曾錦樂(lè);藍(lán)翔;吳志華;劉益群;邢馮
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06F40/20
• 分類號(hào): G06F40/20;G06F16/33;G06F16/31
• 代理公司: 北京英賽嘉華知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;馬曉亞

1.一種語(yǔ)言模型中嵌入模塊計(jì)算優(yōu)化的方法，包括：

獲取輸入數(shù)據(jù)，其中，所述輸入數(shù)據(jù)包含至少一個(gè)帶填充的輸入張量；

基于所述輸入張量生成索引張量，其中，所述索引張量中存儲(chǔ)了所述輸入張量中非填充元素的索引；

基于所述索引張量和聚集算子對(duì)所述輸入張量進(jìn)行壓縮，得到壓縮后的輸入張量，包括：利用聚集算子從所述輸入張量對(duì)應(yīng)的編號(hào)張量中獲取所述輸入張量中非填充元素的索引所對(duì)應(yīng)的元素，得到對(duì)應(yīng)的目標(biāo)編號(hào)張量；利用聚集算子從所述輸入張量對(duì)應(yīng)的類別張量中獲取所述輸入張量中非填充元素的索引所對(duì)應(yīng)的元素，得到對(duì)應(yīng)的目標(biāo)類別張量；利用聚集算子從所述輸入張量對(duì)應(yīng)的位置張量中獲取所述輸入張量中非填充元素的索引所對(duì)應(yīng)的元素，得到對(duì)應(yīng)的目標(biāo)位置張量；

將所述目標(biāo)編號(hào)張量、目標(biāo)類別張量和目標(biāo)位置張量作為嵌入模塊的輸入，至少經(jīng)過(guò)所述嵌入模塊的Embedding算子、Add算子、Layer_norm算子、Dropout算子的運(yùn)算，計(jì)算得到目標(biāo)張量；

其中，所述基于所述輸入張量生成索引張量，包括：

獲取所述輸入張量對(duì)應(yīng)的編號(hào)張量，其中，所述編號(hào)張量中存儲(chǔ)了所述輸入張量在字典中的編號(hào)信息；

從所述編號(hào)張量中獲取所述輸入張量中非填充元素的索引，得到索引張量，其中，不同輸入數(shù)據(jù)的索引下標(biāo)相連。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述目標(biāo)張量的形狀與所述目標(biāo)編號(hào)張量、所述目標(biāo)類別張量和所述目標(biāo)位置張量的形狀相同。

3.根據(jù)權(quán)利要求1或2所述的方法，還包括：

利用分散算子對(duì)所述目標(biāo)張量進(jìn)行填充，得到與目標(biāo)格式對(duì)應(yīng)的張量。

4.一種語(yǔ)言模型中嵌入模塊計(jì)算優(yōu)化的裝置，包括：

獲取單元，被配置成獲取輸入數(shù)據(jù)，其中，所述輸入數(shù)據(jù)包含至少一個(gè)帶填充的輸入張量；

生成單元，被配置成基于所述輸入張量生成索引張量，其中，所述索引張量中存儲(chǔ)了所述輸入張量中非填充元素的索引；

壓縮單元，被配置成基于所述索引張量和聚集算子對(duì)所述輸入張量進(jìn)行壓縮，得到壓縮后的輸入張量；

計(jì)算單元，被配置成將目標(biāo)編號(hào)張量、目標(biāo)類別張量和目標(biāo)位置張量作為嵌入模塊的輸入，至少經(jīng)過(guò)所述嵌入模塊的Embedding算子、Add算子、Layer_norm算子、Dropout算子的運(yùn)算，計(jì)算得到目標(biāo)張量；

其中，所述生成單元包括：

第一獲取子單元，被配置成獲取所述輸入張量對(duì)應(yīng)的編號(hào)張量，其中，所述編號(hào)張量中存儲(chǔ)了所述輸入張量在字典中的編號(hào)信息；

第二獲取子單元，被配置成從所述編號(hào)張量中獲取所述輸入張量中非填充元素的索引，得到索引張量，其中，不同輸入數(shù)據(jù)的索引下標(biāo)相連；

所述壓縮單元包括：

第三獲取子單元，被配置成利用聚集算子從所述輸入張量對(duì)應(yīng)的編號(hào)張量中獲取所述輸入張量中非填充元素的索引所對(duì)應(yīng)的元素，得到對(duì)應(yīng)的目標(biāo)編號(hào)張量；

第四獲取子單元，被配置成利用聚集算子從所述輸入張量對(duì)應(yīng)的類別張量中獲取所述輸入張量中非填充元素的索引所對(duì)應(yīng)的元素，得到對(duì)應(yīng)的目標(biāo)類別張量；

第五獲取子單元，被配置成利用聚集算子從所述輸入張量對(duì)應(yīng)的位置張量中獲取所述輸入張量中非填充元素的索引所對(duì)應(yīng)的元素，得到對(duì)應(yīng)的目標(biāo)位置張量。

5.根據(jù)權(quán)利要求4所述的裝置，其中，所述目標(biāo)張量的形狀與所述目標(biāo)編號(hào)張量、所述目標(biāo)類別張量和所述目標(biāo)位置張量的形狀相同。

6.根據(jù)權(quán)利要求4或5所述的裝置，還包括：

填充單元，被配置成利用分散算子對(duì)所述目標(biāo)張量進(jìn)行填充，得到與目標(biāo)格式對(duì)應(yīng)的張量。

7.?一種電子設(shè)備，包括：

至少一個(gè)處理器；以及

與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，

所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行權(quán)利要求1-3中任一項(xiàng)所述的方法。

8.一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)指令用于使所述計(jì)算機(jī)執(zhí)行權(quán)利要求1-3中任一項(xiàng)所述的方法。