[發明專利]訓練神經網絡的方法、裝置及電子設備有效
| 申請號： | 202010006329.4 | 申請日： | 2020-01-03 |
| 公開（公告）號： | CN111222344B | 公開（公告）日： | 2023-07-18 |
| 發明（設計）人： | 梁忠平;蔣亮;溫祖杰;張家興 | 申請（專利權）人： | 支付寶（杭州）信息技術有限公司 |
| 主分類號： | G06F40/30 | 分類號： | G06F40/30;G06N3/045;G06N3/08 |
| 代理公司： | 北京博雅睿泉專利代理事務所(特殊普通合伙) 11442 | 代理人： | 郭少晶 |
| 地址： | 310000 浙江省杭州市*** | 國省代碼： | 浙江;33 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 訓練 神經網絡 方法 裝置 電子設備 | ||
1.一種訓練用于情感分析的基于注意力的神經網絡的方法，包括：
獲取經情感標注的語料文本，其中，所述語料文本的情感極性被標注，以及所述語料文本中作為判斷情感極性依據的依據文本片段被標注；
向基于注意力的神經網絡輸入語料文本；以及
通過監督所述依據文本片段是否作為判斷語料文本的依據而訓練所述神經網絡；
其中，所述基于注意力的神經網絡是BERT神經網絡，通過監督所述依據文本片段是否作為判斷語料文本的依據而訓練所述神經網絡包括：
通過監督所述BERT神經網絡的注意力值來訓練所述BERT神經網絡的變換器。
2.根據權利要求1所述的方法，其中，所述情感極性包括正面情感、負面情感和中性情感中的至少一個。
3.根據權利要求1所述的方法，其中，通過監督所述BERT神經網絡的注意力值來訓練所述BERT神經網絡的變換器包括：
在BERT神經網絡的最后一個自注意力層監督所述依據文本片段是否作為判斷語料文本的依據。
4.根據權利要求3所述的方法，其中，在BERT神經網絡的最后一個自注意力層監督所述依據文本片段是否作為判斷語料文本的依據包括：
在所述最后一個自注意力層的Query向量包含依據文本片段的信息；
通過所述Query向量判斷輸入語料中的目標文本片段是否是依據文本片段；以及
如果是依據文本片段，則將該目標文本片段的注意力值設為1，或者如果不是依據文本片段，則將該目標文本片段的注意力值設為0。
5.一種訓練用于情感分析的基于注意力的神經網絡的裝置，包括：
獲取模塊，獲取經情感標注的語料文本，其中，所述語料文本的情感極性被標注，以及所述語料文本中作為判斷情感極性的依據的依據文本片段被標注；
輸入模塊，向基于注意力的神經網絡輸入語料文本；
訓練模塊，通過監督所述依據文本片段是否作為判斷語料文本的依據而訓練所述神經網絡；
其中，所述基于注意力的神經網絡是BERT神經網絡；
訓練模塊，具體通過監督所述BERT神經網絡的注意力值來訓練所述BERT神經網絡的變換器。
6.一種電子設備，包括處理器和存儲器，存儲器存儲可執行指令，當運行電子設備時，可執行指令控制處理器執行根據權利要求1-4中任何一項所述的方法以訓練用于情感分析的基于注意力的神經網絡。
7.一種情感分析方法，包括：
向使用根據權利要求1所述的方法所訓練的神經網絡輸入文本；以及
從所述神經網絡獲取所輸入的文本的情感信息。
8.一種電子設備，包括處理器和存儲器，存儲器存儲可執行指令，當運行電子設備時，可執行指令控制處理器執行根據權利要求7所述的方法以獲取所輸入的文本的情感信息。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于支付寶（杭州）信息技術有限公司，未經支付寶（杭州）信息技術有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010006329.4/1.html，轉載請聲明來源鉆瓜專利網。
