[發明專利]一種基于神經網絡的自然語言處理方法和電子設備

在審

• 申請號: 202010982596.5
• 申請日: 2020-09-17
• 公開（公告）號: CN112069837A
• 公開（公告）日: 2020-12-11
• 發明（設計）人: 黃海榮;李林峰;王靖宇
• 申請（專利權）人: 湖北億咖通科技有限公司
• 主分類號: G06F40/35
• 分類號: G06F40/35;G06F16/35;G06F16/31;G06N3/04
• 代理公司: 北京智匯東方知識產權代理事務所(普通合伙) 11391
• 代理人: 關艷芬

本發明提供了一種基于神經網絡的自然語言處理方法和電子設備。該自然語言處理方法主要通過引入反映輸入語句的實際長度的輸入語句的長度信息，在卷積計算中根據輸入語句的長度信息執行相應次的字向量矩陣與卷積核之間的乘法運算，將現有技術的基于固定的預設句子長度的固定長度卷積轉變為基于輸入語句的實際長度的變長卷積，大大地減少了計算量，從而顯著提升了計算速度，減少了計算資源和時間的浪費。

技術領域

本發明涉及人工智能技術領域，特別是一種基于神經網絡的自然語言處理方法和電子設備。

背景技術

神經網絡(特別是卷積神經網絡)已廣泛應用于自然語言處理領域。卷積的本質是用一種核函數對輸入數據進行特征提取的過程，卷積的輸出是提取出來的特征(以映射矩陣表示)。卷積的輸入數據可以為NHWC格式，即[batch,in_height,in_width,in_channels]，包括batch(批次)、height(高度)、width(寬度)、channels(通道)四個維度，其中高度維度表示輸入數據的長度。

現有技術中，在卷積神經網絡的推理和訓練過程中，卷積的輸入數據的高度、寬度和輸入通道數都被設計成固定的數值。例如，若輸入數據為用戶語句，則無論輸入的用戶語句的實際長度為多少，輸入數據的高度均設定為固定的最大值(如60)，如果用戶語句的實際字數量少于60，則后面用特定值補齊到60個字，在進行卷積計算的時候仍然按照60個字來計算。然而，在自然語言處理領域，作為輸入數據的用戶語句(即用戶講話內容)的長度不是固定的，通常遠小于所設定的最大值，在這種情況下，若仍然按照所設定的最大值來進行卷積計算，會造成計算資源和時間的浪費。

發明內容

鑒于上述問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的基于神經網絡的自然語言處理方法和電子設備。

本發明的一個目的在于提供一種通過采用變長卷積提升計算速度的基于神經網絡的自然語言處理方法。

本發明的一個進一步的目的在于通過把卷積、激活和池化步驟融合在同一個加速器執行以進一步提升計算速度。

特別地，根據本發明實施例的一方面，提供了一種基于神經網絡的自然語言處理方法，包括：

接收輸入的自然語句作為輸入語句，根據所述輸入語句中的字數量生成所述輸入語句的長度信息；

確定所述輸入語句中各字的索引，根據各所述字的索引從字向量表中查找到各所述字的向量值，得到所述輸入語句的字向量矩陣；

采用卷積核對所述字向量矩陣進行卷積計算，得到特征映射矩陣，其中，在所述卷積計算中，根據所述輸入語句的長度信息執行相應次數的所述字向量矩陣與所述卷積核之間的乘法運算；

對所述特征映射矩陣進行激活和池化，得到降維特征映射矩陣；

基于所述降維特征映射矩陣進行意圖識別，得到所述輸入語句的分類標簽矩陣，所述分類標簽矩陣包含各分類標簽的概率值；

對所述分類標簽矩陣中所有分類標簽的概率值進行歸一化，得到所述輸入語句的意圖識別結果。

可選地，所述長度信息為布爾指針類型的掩碼。

可選地，在所述卷積計算中，根據所述輸入語句的長度信息執行相應次數的所述字向量矩陣與所述卷積核之間的乘法運算，包括：

以邊緣不填充、卷積步長為1的方式，令所述卷積核在所述字向量矩陣的高度維度上滑行，以執行相應次數的所述字向量矩陣與所述卷積核之間的乘法運算，其中，所述卷積核的滑行行程等于所述輸入語句的長度信息所指示的所述輸入語句的字數量，所述相應次數等于所述輸入語句的長度信息所指示的所述輸入語句的字數量與所述卷積核的尺寸的差加上1得到的數值。