[發明專利]文本語義理解方法、裝置和系統

有效

• 申請號: 201710112693.7
• 申請日: 2017-02-28
• 公開（公告）號: CN106897268B
• 公開（公告）日: 2020-06-02
• 發明（設計）人: 劉也寬;胡加學;孫勝杰;王震
• 申請（專利權）人: 科大訊飛股份有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

1.一種文本語義理解方法，其特征在于，包括：

接收待語義理解的文本；

根據預先構建的深度殘差網絡模型，對所述待語義理解的文本進行語義理解，得到語義理解結果，其中，所述深度殘差網絡模型的拓撲結構中包括：輔助輸入層，所述輔助輸入層用于輸入先驗信息。

2.根據權利要求1所述的方法，其特征在于，對所述待語義理解的文本進行語義理解之前，所述方法還包括：

對所述待語義理解的文本進行預處理。

3.根據權利要求2所述的方法，其特征在于，還包括：構建深度殘差網絡模型，所述構建深度殘差網絡模型，包括：

收集訓練文本，并對所述訓練文本進行預處理，以及，獲取所述訓練文本的標注信息，所述標注信息包括語義理解結果；

確定深度殘差網絡模型的拓撲結構；

基于預處理后的訓練文本、所述標注信息和所述拓撲結構進行模型訓練，構建得到深度殘差網絡模型。

4.根據權利要求3所述的方法，其特征在于，當存在多任務時，所述模型訓練基于多任務同步處理機制進行。

5.根據權利要求4所述的方法，其特征在于，所述模型訓練時，通過對整體損失函數進行最小化確定模型參數，其中，所述整體損失函數為各個任務的損失函數的線性加權函數。

6.根據權利要求1所述的方法，其特征在于，所述輔助輸入層包括：

輸入部分，用于輸入先驗信息，并對先驗信息進行向量化；

變換部分，用于對向量化后的先驗信息進行向量變換。

7.根據權利要求1所述的方法，其特征在于，所述深度殘差網絡模型的拓撲結構中包括：注意力層，所述注意力層包括：

非線性變換部分，用于對輸入矩陣進行非線性變換，得到非線性變換后的矩陣，所述輸入矩陣由各個詞組的詞向量組成；

權重控制部分，用于采用預設向量分別與非線性變換后的矩陣中的各個詞組的詞向量做內積，得到控制向量；

權重分配部分，用于對所述控制向量進行權重分配，得到權重向量；

組合部分，用于采用所述權重向量對所述輸入矩陣中不同詞組的詞向量進行線性組合，得到注意力層的輸出。

8.根據權利要求1所述的方法，其特征在于，所述深度殘差網絡模型的拓撲結構中包括：殘差單元層，所述殘差單元層包括卷積層級聯部分和捷徑部分，所述卷積層級聯部分包括多個相互級聯的卷積層，所述捷徑部分用于將輸入直接或對輸入進行線性變換后與卷積層級聯部分的輸出相加，再對相加后的值進行激活。

9.一種文本語義理解裝置，其特征在于，包括：

接收模塊，用于接收待語義理解的文本；

語義理解模塊，用于根據預先構建的深度殘差網絡模型，對所述待語義理解的文本進行語義理解，得到語義理解結果，其中，所述語義理解模塊采用的深度殘差網絡模型的拓撲結構中包括：輔助輸入層，所述輔助輸入層用于輸入先驗信息。

10.根據權利要求9所述的裝置，其特征在于，還包括：

預處理模塊，用于對所述待語義理解的文本進行預處理。

11.根據權利要求10所述的裝置，其特征在于，還包括：用于構建深度殘差網絡模型的構建模塊，所述構建模塊具體用于：

收集訓練文本，并對所述訓練文本進行預處理，以及，獲取所述訓練文本的標注信息，所述標注信息包括語義理解結果；

確定深度殘差網絡模型的拓撲結構；

基于預處理后的訓練文本、所述標注信息和所述拓撲結構進行模型訓練，構建得到深度殘差網絡模型。

12.根據權利要求11所述的裝置，其特征在于，所述構建模塊在存在多任務時，基于多任務同步處理機制進行模型訓練。