[發明專利]語句表示方法、表示模型訓練方法及裝置

在審

• 申請號: 201910139191.2
• 申請日: 2019-02-25
• 公開（公告）號: CN111611789A
• 公開（公告）日: 2020-09-01
• 發明（設計）人: 馬凱
• 申請（專利權）人: 北京嘀嘀無限科技發展有限公司
• 主分類號: G06F40/211
• 分類號: G06F40/211;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 北京超成律師事務所 11646
• 代理人: 鄧超

本申請提供了一種語句表示方法、表示模型訓練方法及裝置，其中，該語句表示方法，包括：將待表示語句輸入注意力機制中進行計算，得到所述待表示語句中的每個詞對應的注意力特征；將所述待表示語句中的每個詞對應的注意力特征進行拼接，得到所述待表示語句的特征圖；將所述特征圖輸入卷積模型進行處理，得到所述待表示語句的表示結果。

技術領域

本申請涉及數據處理技術領域，具體而言，涉及一種語句表示方法、表示模型訓練方法及裝置。

背景技術

在對語句進行分類或翻譯之前需要對語句的特征的表示才能夠進行后面的語句分類等操作。但是現有的語句表示方式存在各種欠缺，導致語句得到的表示不能很好地代表語句信息。

發明內容

有鑒于此，本申請實施例的目的在于提供一種語句表示方法、表示模型訓練方法及裝置，能夠通過使用注意力機制和卷積模型的組合對語句進行表示緩解了現有技術中存在的語句表示欠缺的問題，達到更好地表示語句所需表達的信息的效果。

根據本申請的一個方面，提供一種電子設備，可以包括一個或多個存儲介質和一個或多個與存儲介質通信的處理器。一個或多個存儲介質存儲有處理器可執行的機器可讀指令。當電子設備運行時，處理器與存儲介質之間通過總線通信，處理器執行所述機器可讀指令，以執行一個或多個以下操作：

將待表示語句輸入注意力機制中進行計算，得到所述待表示語句中的每個詞對應的注意力特征；

將所述待表示語句中的每個詞對應的注意力特征進行拼接，得到所述待表示語句的特征圖；

將所述特征圖輸入卷積模型進行處理，得到所述待表示語句的表示結果。

本申請實施例提供的語句表示方法，先使用注意力機制挖掘語句內的詞與詞之間的關聯，從而可以減少一詞多義引起的歧義；進一步地，使用卷積模型提取語句的感受野強特征，從而得到語句的表示。

在一些實施例中，所述將待表示語句輸入注意力機制中進行計算，得到所述待表示語句中的每個詞對應的注意力特征的步驟，包括：

將待表示語句輸入注意力機制中進行計算，得到所述待表示語句中的每個詞的設定數量的注意力特征，所述設定數量不小于二；

所述將所述待表示語句中的每個詞對應的注意力特征進行拼接，得到所述待表示語句的特征圖的步驟，包括：

將所述待表示語句中的每個詞對應的設定數量的注意力特征進行拼接，得到所述待表示語句的設定數量的特征圖。

通過提取不同的注意力特征，可以實現關注待表示語句的不同角度的信息，從而更準確地輸出語句的表示結果。

在一些實施例中，所述將待表示語句輸入注意力機制中進行計算，得到所述待表示語句中的每個詞對應的注意力特征通過以下方式實現：

Attention(Q、K、V)＝softmax(QK^T)V；

其中，Q＝X·W^Q；

K＝X·W^K；

V＝X·W^V；

其中，X表示所述待表示語句中的一個詞的詞向量；W^Q、W^K、W^V表示三個權值矩陣；Attention表示注意力機制；softmax表示歸一化指數函數；Q、K、V表示計算過程中的中間值。

在一些實施例中，所述注意力機制配置多組權值矩陣，所述將待表示語句輸入注意力機制中進行計算，得到所述待表示語句中的每個詞對應的注意力特征通過以下方式實現：

其中，