[發明專利]深度學習序列標注方法、裝置及計算機可讀存儲介質

有效

• 申請號: 202011024360.7
• 申請日: 2020-09-25
• 公開（公告）號: CN112115714B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 孫思
• 申請（專利權）人: 深圳平安智慧醫健科技有限公司
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06F40/295;G06F16/35;G06N3/045;G06N3/0442;G06N3/047;G06N3/048;G06N3/084
• 代理公司: 北京鴻元知識產權代理有限公司 11327
• 代理人: 張娓娓;袁文婷

1.一種深度學習序列標注方法，其特征在于，所述方法包括：

利用初始化的embedding層對待處理文本的句子中的每個字進行預處理，獲取所述待處理文本中的每個字的字向量；

通過bi-lstm層對所述字向量進行處理，獲取所述待處理文本的文本特征；

通過softmax層對所述文本特征進行處理，獲取所述文本特征的預測標注位置，包括如下步驟：

對所述文本特征進行softmax計算，計算所述待處理文本中句子的每個字預測為某一個標注標簽的歸一化概率，其中，所述softmax計算公式為：

其中，i表示K中某個分類，g_i表示該分類的值，K∈(0，n)；

將計算得到的最大概率標注為預測標簽，完成所述待處理文本中待標注位置的分類；

通過loss層對所述文本特征的預測標注位置進行處理，完成所述待處理文本的序列標注，包括如下步驟：

根據loss損失函數計算所述預測標注位置與真實標簽位置的損失值，其中，采用的loss損失函數的具體公式如下：

其中，1-p_i1表示自動縮放系數；p_i1表示預測為1的概率；

y_i1則是標注為1的概率；∈為平滑項；

根據所述損失值，對深度學習模型進行反復訓練，直至所述深度學習模型收斂，所述深度學習模型訓練完成；

通過訓練完成的深度學習模型對所述待處理文本進行處理，獲取所述待處理文本的序列標注。

2.如權利要求1所述的深度學習序列標注方法，其特征在于，所述利用初始化的embedding層將待處理文本的句子中的每個字進行預處理，獲取所述待處理文本中的每個字的字向量，包括如下步驟：

利用初始化的embedding層將所述待處理文本的句子中的每個字由one-hot向量映射為低維稠密的字向量，得到所述待處理文本中的每個字的字向量。

3.如權利要求1所述的深度學習序列標注方法，其特征在于，所述通過bi-lstm層對所述字向量進行處理，獲取所述待處理文本的文本特征，包括如下步驟：

將所述待處理文本中的句子的每個字的字向量作為雙向lstm各個時間步的輸入；

將正向lstm輸出的隱狀態向量與反向lstm的在各個位置輸出的隱狀態向量進行按位置拼接，得到完整的隱狀態向量；

對所述完整的隱狀態向量進行處理，獲取所述待處理文本的文本特征。

4.一種深度學習序列標注裝置，其特征在于，所述裝置包括：

字向量獲取模塊，用于利用初始化的embedding層對待處理文本的句子中的每個字進行預處理，獲取所述待處理文本中的每個字的字向量；

文本特征獲取模塊，用于通過bi-lstm層對所述字向量進行處理，獲取所述待處理文本的文本特征；

預測標注位置獲取模塊，用于通過softmax層對所述文本特征進行處理，獲取所述文本特征的預測標注位置，包括如下步驟：

對所述文本特征進行softmax計算，計算所述待處理文本中句子的每個字預測為某一個標注標簽的歸一化概率，其中，所述softmax計算公式為：

其中，i表示K中某個分類，g_i表示該分類的值，K∈(0，n)；

將計算得到的最大概率標注為預測標簽，完成所述待處理文本中待標注位置的分類；

序列標注完成模塊，用于通過loss層對所述文本特征的預測標注位置進行處理，完成所述待處理文本的序列標注，包括如下步驟：

根據loss損失函數計算所述預測標注位置與真實標簽位置的損失值，其中，采用的loss損失函數的具體公式如下：

其中，1-p_i1表示自動縮放系數；p_i1表示預測為1的概率；

y_i1則是標注為1的概率；∈為平滑項；

根據所述損失值，對深度學習模型進行反復訓練，直至所述深度學習模型收斂，所述深度學習模型訓練完成；

通過訓練完成的深度學習模型對所述待處理文本進行處理，獲取所述待處理文本的序列標注。