[發(fā)明專利]訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法、裝置及電子設(shè)備

有效

• 申請?zhí)枺?/td>: 202010006329.4
• 申請日: 2020-01-03
• 公開（公告）號: CN111222344B
• 公開（公告）日: 2023-07-18
• 發(fā)明（設(shè)計）人: 梁忠平;蔣亮;溫祖杰;張家興
• 申請（專利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06N3/045;G06N3/08
• 代理公司: 北京博雅睿泉專利代理事務(wù)所(特殊普通合伙) 11442
• 代理人: 郭少晶

1.一種訓(xùn)練用于情感分析的基于注意力的神經(jīng)網(wǎng)絡(luò)的方法，包括：

獲取經(jīng)情感標(biāo)注的語料文本，其中，所述語料文本的情感極性被標(biāo)注，以及所述語料文本中作為判斷情感極性依據(jù)的依據(jù)文本片段被標(biāo)注；

向基于注意力的神經(jīng)網(wǎng)絡(luò)輸入語料文本；以及

通過監(jiān)督所述依據(jù)文本片段是否作為判斷語料文本的依據(jù)而訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)；

其中，所述基于注意力的神經(jīng)網(wǎng)絡(luò)是BERT神經(jīng)網(wǎng)絡(luò)，通過監(jiān)督所述依據(jù)文本片段是否作為判斷語料文本的依據(jù)而訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)包括：

通過監(jiān)督所述BERT神經(jīng)網(wǎng)絡(luò)的注意力值來訓(xùn)練所述BERT神經(jīng)網(wǎng)絡(luò)的變換器。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述情感極性包括正面情感、負(fù)面情感和中性情感中的至少一個。

3.根據(jù)權(quán)利要求1所述的方法，其中，通過監(jiān)督所述BERT神經(jīng)網(wǎng)絡(luò)的注意力值來訓(xùn)練所述BERT神經(jīng)網(wǎng)絡(luò)的變換器包括：

在BERT神經(jīng)網(wǎng)絡(luò)的最后一個自注意力層監(jiān)督所述依據(jù)文本片段是否作為判斷語料文本的依據(jù)。

4.根據(jù)權(quán)利要求3所述的方法，其中，在BERT神經(jīng)網(wǎng)絡(luò)的最后一個自注意力層監(jiān)督所述依據(jù)文本片段是否作為判斷語料文本的依據(jù)包括：

在所述最后一個自注意力層的Query向量包含依據(jù)文本片段的信息；

通過所述Query向量判斷輸入語料中的目標(biāo)文本片段是否是依據(jù)文本片段；以及

如果是依據(jù)文本片段，則將該目標(biāo)文本片段的注意力值設(shè)為1，或者如果不是依據(jù)文本片段，則將該目標(biāo)文本片段的注意力值設(shè)為0。

5.一種訓(xùn)練用于情感分析的基于注意力的神經(jīng)網(wǎng)絡(luò)的裝置，包括：

獲取模塊，獲取經(jīng)情感標(biāo)注的語料文本，其中，所述語料文本的情感極性被標(biāo)注，以及所述語料文本中作為判斷情感極性的依據(jù)的依據(jù)文本片段被標(biāo)注；

輸入模塊，向基于注意力的神經(jīng)網(wǎng)絡(luò)輸入語料文本；

訓(xùn)練模塊，通過監(jiān)督所述依據(jù)文本片段是否作為判斷語料文本的依據(jù)而訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)；

其中，所述基于注意力的神經(jīng)網(wǎng)絡(luò)是BERT神經(jīng)網(wǎng)絡(luò)；

訓(xùn)練模塊，具體通過監(jiān)督所述BERT神經(jīng)網(wǎng)絡(luò)的注意力值來訓(xùn)練所述BERT神經(jīng)網(wǎng)絡(luò)的變換器。

6.一種電子設(shè)備，包括處理器和存儲器，存儲器存儲可執(zhí)行指令，當(dāng)運行電子設(shè)備時，可執(zhí)行指令控制處理器執(zhí)行根據(jù)權(quán)利要求1-4中任何一項所述的方法以訓(xùn)練用于情感分析的基于注意力的神經(jīng)網(wǎng)絡(luò)。

7.一種情感分析方法，包括：

向使用根據(jù)權(quán)利要求1所述的方法所訓(xùn)練的神經(jīng)網(wǎng)絡(luò)輸入文本；以及

從所述神經(jīng)網(wǎng)絡(luò)獲取所輸入的文本的情感信息。

8.一種電子設(shè)備，包括處理器和存儲器，存儲器存儲可執(zhí)行指令，當(dāng)運行電子設(shè)備時，可執(zhí)行指令控制處理器執(zhí)行根據(jù)權(quán)利要求7所述的方法以獲取所輸入的文本的情感信息。