[發明專利]用于自然語言處理的電子設備和方法以及訓練方法

在審

• 申請號: 201610166603.8
• 申請日: 2016-03-22
• 公開（公告）號: CN107220231A
• 公開（公告）日: 2017-09-29
• 發明（設計）人: 趙知緯;吳友政
• 申請（專利權）人: 索尼公司
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06N3/04;G06N3/08
• 代理公司: 北京集佳知識產權代理有限公司11227
• 代理人: 李春暉,李德山

技術領域

本發明的實施例總體上涉及信息處理領域，具體地涉及自然語言處理，更具體地，涉及用于自然語言處理的電子設備和方法、以及相應的訓練方法和電子設備。

背景技術

句子分類是口語理解(spoken language understanding，SLU)和自然語言處理(Natural Language Processing，NLP)中的關鍵問題。例如，可以對句子進行問題分類、情感分類、用戶意圖分類等。作為問題分類的示例，“世界上最長的地鐵在哪個城市？”是詢問地理位置的句子，而“哪一位前聯盟內球員被稱為“太空人”？”是詢問人名的句子。作為情感分類的示例，“這部電影很糟糕”表達了負面情感，而“演員很努力”表達了正面情感。作為用戶意圖分類的示例，“我想聽歌”指示了播放音樂的意圖。

傳統的句子分類方法是基于詞袋模型(Bag-of-word)的，即，把句子表示為一系列文字、詞語、片段的向量，比如把“這部電影很糟糕”分解表示為“這”、“部”、“電影”、“糟糕”等。在得到這樣的向量后，將其輸入到標準的分類算法比如最大熵、支持向量機(SVM)等得到分類結果。

近年來提出了基于表示學習的句子分類的方法，首先將句子中的詞語映射為實數向量，然后將代表句子的實數向量的集合輸入到各種人工神經網絡比如卷積神經網絡(Convolutional neural network，CNN)、循環神經網絡(Recurrent neural network，RecurrentNN)等，從而將句子也映射為一個實數向量，將這個向量輸入到標準的分類算法中以得到分類結果。因此，基于神經網絡的句子分類指的是利用神經網絡首先得到句子級別的實數向量表示，然后利用分類器獲得句子的類別標簽。

發明內容

在下文中給出了關于本發明的簡要概述，以便提供關于本發明的某些方面的基本理解。應當理解，這個概述并不是關于本發明的窮舉性概述。它并不是意圖確定本發明的關鍵或重要部分，也不是意圖限定本發明的范圍。其目的僅僅是以簡化的形式給出某些概念，以此作為稍后論述的更詳細描述的前序。

根據本申請的一個方面，提供了一種用于自然語言處理的電子設備包括處理器，被配置為執行：針對將訓練數據集中的每一個句子分詞后得到的每一個詞語，分別獲得代表該詞語與句子中其他詞語中的一個或多個詞語之間的相關程度的注意力參數，其中，每一個詞語用實數向量表示；以及基于每一個句子中的每一個詞語與針對該詞語獲得的注意力參數的信息以及訓練數據集中該句子的標簽信息，訓練用于句子分類的神經網絡。

根據本申請的另一個方面，還提供了一種用于自然語言處理的電子設備，包括存儲器和處理器，其中，存儲器存儲訓練好的用于句子分類的神經網絡，其中，該神經網絡使用上述電子設備訓練獲得，處理器被配置為執行：針對將要分類的句子分詞后得到的每一個詞語，獲得代表該詞語與句子中其他詞語中的一個或多個詞語之間的相關程度的注意力參數，其中，每一個詞語用實數向量表示；以及基于句子中每一個詞語與針對該詞語獲得的注意力參數的信息，使用神經網絡對句子進行分類。

根據本申請的另一個方面，還提供了一種用于自然語言處理的訓練方法，包括：針對將訓練數據集中的每一個句子分詞后得到的每一個詞語，分別獲得代表該詞語與句子中其他詞語中的一個或多個詞語之間的相關程度的注意力參數，其中，每一個詞語用實數向量表示；以及基于每一個句子中的每一個詞語與針對該詞語獲得的注意力參數的信息以及訓練數據集中該句子的標簽信息，訓練用于句子分類的神經網絡。

根據本申請的另一個方面，還提供了一種用于自然語言處理的方法，包括：針對將要分類的句子分詞后得到的每一個詞語，獲得代表該詞語與句子中其他詞語中的一個或多個詞語之間的相關程度的注意力參數，其中，每一個詞語用實數向量表示；以及基于句子中每一個詞語與針對該詞語獲得的注意力參數的信息，使用神經網絡對句子進行分類，其中，該神經網絡使用上述訓練方法訓練獲得。

依據本發明的其它方面，還提供了用于自然語言處理的訓練方法和用 于自然語言處理的方法的計算機程序代碼和計算機程序產品以及其上記錄有該用于實現上述方法的計算機程序代碼的計算機可讀存儲介質。

根據本申請的電子設備和方法通過在卷積神經網絡的基礎上引入了句子的全局信息，以使得能夠更完整地反映句子的語義，提高了句子分類的性能。

通過以下結合附圖對本發明的優選實施例的詳細說明，本發明的上述以及其他優點將更加明顯。

附圖說明