[發明專利]一種基于神經網絡的自然語言處理方法和電子設備

在審

• 申請號: 202010982596.5
• 申請日: 2020-09-17
• 公開（公告）號: CN112069837A
• 公開（公告）日: 2020-12-11
• 發明（設計）人: 黃海榮;李林峰;王靖宇
• 申請（專利權）人: 湖北億咖通科技有限公司
• 主分類號: G06F40/35
• 分類號: G06F40/35;G06F16/35;G06F16/31;G06N3/04
• 代理公司: 北京智匯東方知識產權代理事務所(普通合伙) 11391
• 代理人: 關艷芬

1.一種基于神經網絡的自然語言處理方法，其特征在于，包括：

接收輸入的自然語句作為輸入語句，根據所述輸入語句中的字數量生成所述輸入語句的長度信息；

確定所述輸入語句中各字的索引，根據各所述字的索引從字向量表中查找到各所述字的向量值，得到所述輸入語句的字向量矩陣；

采用卷積核對所述字向量矩陣進行卷積計算，得到特征映射矩陣，其中，在所述卷積計算中，根據所述輸入語句的長度信息執行相應次數的所述字向量矩陣與所述卷積核之間的乘法運算；

對所述特征映射矩陣進行激活和池化，得到降維特征映射矩陣；

基于所述降維特征映射矩陣進行意圖識別，得到所述輸入語句的分類標簽矩陣，所述分類標簽矩陣包含各分類標簽的概率值；

對所述分類標簽矩陣中所有分類標簽的概率值進行歸一化，得到所述輸入語句的意圖識別結果。

2.根據權利要求1所述的自然語言處理方法，其特征在于，所述長度信息為布爾指針類型的掩碼。

3.根據權利要求1所述的自然語言處理方法，其特征在于，在所述卷積計算中，根據所述輸入語句的長度信息執行相應次數的所述字向量矩陣與所述卷積核之間的乘法運算，包括：

以邊緣不填充、卷積步長為1的方式，令所述卷積核在所述字向量矩陣的高度維度上滑行，以執行相應次數的所述字向量矩陣與所述卷積核之間的乘法運算，其中，所述卷積核的滑行行程等于所述輸入語句的長度信息所指示的所述輸入語句的字數量，所述相應次數等于所述輸入語句的長度信息所指示的所述輸入語句的字數量與所述卷積核的尺寸的差加上1得到的數值。

4.根據權利要求1所述的自然語言處理方法，其特征在于，在所述卷積計算中，根據所述輸入語句的長度信息執行相應次數的所述字向量矩陣與所述卷積核之間的乘法運算，包括：

以在所述輸入語句的尾部進行邊緣填充、卷積步長為1的方式，令所述卷積核在所述字向量矩陣的高度維度上滑行，以執行相應次數的所述字向量矩陣與所述卷積核之間的乘法運算，其中，所述卷積核在所述字向量矩陣的高度維度上的滑行行程等于所述輸入語句的長度信息所指示的所述輸入語句的字數量加上所述卷積核的尺寸減1；所述相應次數等于所述輸入語句的長度信息所指示的所述輸入語句的字數量。

5.根據權利要求1所述的自然語言處理方法，其特征在于，

在同一個加速器上執行所述采用卷積核對所述字向量矩陣進行卷積計算，得到特征映射矩陣的步驟以及所述對所述特征映射矩陣進行激活和池化，得到降維特征映射矩陣的步驟。

6.根據權利要求1所述的自然語言處理方法，其特征在于，所述卷積核的數量為多個，且各所述卷積核的尺寸不同；所述特征映射矩陣的數量為多個，且多個所述特征映射矩陣與多個所述卷積核一一對應；所述降維特征映射矩陣的數量為多個，且多個所述降維特征映射矩陣與多個所述特征映射矩陣一一對應；

所述采用卷積核對所述字向量矩陣進行卷積計算，得到特征映射矩陣，包括：

采用不同尺寸的多個所述卷積核對所述字向量矩陣分別進行卷積計算，得到多個所述特征映射矩陣；

對所述特征映射矩陣進行激活和池化，得到降維特征映射矩陣，包括：

對多個所述特征映射矩陣分別進行激活和池化，得到多個所述降維特征映射矩陣；

所述基于所述降維特征映射矩陣進行意圖識別，得到所述輸入語句的分類標簽矩陣，包括：

對多個所述降維特征映射矩陣進行累加合并，得到合并特征映射矩陣；

基于所述合并特征映射矩陣進行意圖識別，得到所述輸入語句的分類標簽矩陣。