[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)模型的數(shù)據(jù)處理方法、裝置及電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202010899586.5
• 申請日: 2020-08-31
• 公開（公告）號: CN114118391A
• 公開（公告）日: 2022-03-01
• 發(fā)明（設(shè)計(jì)）人: 孫黎
• 申請（專利權(quán)）人: 廣州市百果園信息技術(shù)有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/08;G06N3/04;G06F17/16
• 代理公司: 北京潤澤恒知識產(chǎn)權(quán)代理有限公司 11319
• 代理人: 莎日娜

1.一種神經(jīng)網(wǎng)絡(luò)模型的數(shù)據(jù)處理方法，所述神經(jīng)網(wǎng)絡(luò)模型包括編碼器和解碼器，所述編碼器包括：第一層歸一化模塊以及第一多頭自注意力模塊，所述解碼器包括：第二層歸一化模塊、第二多頭自注意力模塊以及多頭編解碼自注意力模塊，其特征在于，所述方法包括：

獲取待計(jì)算的特征數(shù)據(jù)；

根據(jù)目標(biāo)編碼器，對所述特征數(shù)據(jù)進(jìn)行計(jì)算，得到第一矩陣；其中，所述目標(biāo)編碼器是深度學(xué)習(xí)推理框架通過所述編碼器所需的第一參數(shù)，對所述編碼器中的第一層歸一化模塊和第一多頭自注意力模塊進(jìn)行優(yōu)化后得到的；

根據(jù)所述目標(biāo)解碼器，對所述第一矩陣進(jìn)行計(jì)算，得到目標(biāo)特征數(shù)據(jù)；其中，所述解碼器是所述深度學(xué)習(xí)推理框架通過所述解碼器所需的第二參數(shù)，對所述解碼器中的第二層歸一化模塊、第二多頭自注意力模塊以及多頭編解碼自注意力模塊進(jìn)行優(yōu)化后得到的。

2.根據(jù)權(quán)利要求1所述的方法，所述編碼器還包括：第一前饋模塊，其特征在于，所述根據(jù)目標(biāo)編碼器，對所述特征數(shù)據(jù)進(jìn)行計(jì)算，得到第一矩陣，包括：

根據(jù)所述特征數(shù)據(jù)、所述第一參數(shù)以及優(yōu)化后的第一層歸一化模塊中的第一計(jì)算方式，對所述特征數(shù)據(jù)進(jìn)行計(jì)算，得到第二矩陣；

根據(jù)所述第二矩陣以及優(yōu)化后的第一多頭自注意力模塊中的第二計(jì)算方式，對所述第二矩陣進(jìn)行計(jì)算，得到第三矩陣；

根據(jù)所述第一前饋模塊，對所述第三矩陣進(jìn)行計(jì)算，得到第一矩陣。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述第一計(jì)算方式包括：

根據(jù)所述特征數(shù)據(jù)中的輸入向量，得到所述特征數(shù)據(jù)中的輸入向量的第一均值以及所述特征數(shù)據(jù)中的輸入向量的第一方差；

將所述特征數(shù)據(jù)中的輸入向量與所述第一均值相減，得到第一值；

根據(jù)所述第一方差與第一常數(shù)，得到第二值，所述第二值為所述第一方差與所述第一常數(shù)之和的平方根；

將所述第一值與所述第二值相除，再乘以所述第一參數(shù)中的其中一個(gè)向量，再加上所述第一參數(shù)中的另一個(gè)向量，得到第二矩陣。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述第二矩陣包括：第二矩陣q、第二矩陣k以及第二矩陣v；

所述第二計(jì)算方式包括：

將所述第二矩陣q和所述第二矩陣k相乘，得到第一權(quán)重矩陣；

對所述第一權(quán)重矩陣使用歸一化指數(shù)函數(shù)，得到第一歸一化權(quán)重矩陣；

將所述第一歸一化權(quán)重矩陣與所述第二矩陣v相乘，得到第三矩陣。

5.根據(jù)權(quán)利要求1所述的方法，所述解碼器還包括：第二前饋模塊，其特征在于，所述根據(jù)所述目標(biāo)解碼器，對所述第一矩陣進(jìn)行計(jì)算，得到目標(biāo)特征數(shù)據(jù)，包括：

根據(jù)所述第一矩陣、所述第二參數(shù)以及優(yōu)化后的第二層歸一化模塊中的第三計(jì)算方式，對所述第一矩陣進(jìn)行計(jì)算，得到第四矩陣；

根據(jù)所述第四矩陣以及優(yōu)化后的第二多頭自注意力模塊中的第四計(jì)算方式，對所述第四矩陣進(jìn)行計(jì)算，得到第五矩陣；

若更新標(biāo)志只有第一次設(shè)置為真，則根據(jù)所述第一矩陣、所述第五矩陣以及優(yōu)化后的多頭編解碼自注意力模塊中的第五計(jì)算方式，對所述第五矩陣進(jìn)行計(jì)算，得到第六矩陣；

根據(jù)所述第二前饋模塊，對所述第六矩陣進(jìn)行計(jì)算，得到目標(biāo)特征數(shù)據(jù)。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述第三計(jì)算方式包括：

根據(jù)所述第一矩陣中的輸入向量，得到所述第一矩陣中的輸入向量的第二均值以及所述第一矩陣中的輸入向量的第二方差；

將所述第一矩陣中的輸入向量與所述第二均值相減，得到第三值；

根據(jù)所述第二方差與第二常數(shù)，得到第四值，所述第四值為所述第二方差與所述第二常數(shù)之和的平方根；

將所述第三值與所述第四值相除，再乘以所述第二參數(shù)中的其中一個(gè)向量，再加上所述第二參數(shù)中的另一個(gè)向量，得到第四矩陣。