[發明專利]深度學習序列標注方法、裝置及計算機可讀存儲介質

有效

• 申請號: 202011024360.7
• 申請日: 2020-09-25
• 公開（公告）號: CN112115714B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 孫思
• 申請（專利權）人: 深圳平安智慧醫健科技有限公司
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06F40/295;G06F16/35;G06N3/045;G06N3/0442;G06N3/047;G06N3/048;G06N3/084
• 代理公司: 北京鴻元知識產權代理有限公司 11327
• 代理人: 張娓娓;袁文婷

本發明涉及一種人工智能，提供一種深度學習序列標注方法、裝置及計算機可讀存儲介質，其中方法包括：利用初始化的embedding層將待處理文本的句子中的每個字進行預處理，獲取所述待處理文本中的每個字的字向量；通過bi?lstm層對所述字向量進行處理，獲取所述待處理文本的文本特征；通過softmax層對所述文本特征進行處理，獲取所述文本特征的預測標注位置；通過loss層對所述文本特征的預測標注位置進行處理，完成所述待處理文本的序列標注。本發明提高在深度學習中序列標注的準確性。

技術領域

本發明涉及人工智能技術領域，尤其涉及一種基于損失函數的深度學習序列標注方法、裝置、電子設備及計算機可讀存儲介質。

背景技術

在機器學習和深度學習應用中，數據不平衡是一個非常常見的問題，尤其在自然語言處理任務中。例如：在自然語言處理的序列標注任務中，對命名實體識別采用BIEOS標注時，文本中大部分數據會標為O(即不是命名實體)，O與其他類別(標注為B、I、E、S)的數量相差非常明顯，這種顯著的不平衡在普通的loss下會導致模型傾向于負例，但是實際上在標注任務中正確標注正例更為重要，因此一般采用macro-F1這種同時注重各個標簽的準確與召回的評價函數來進行評測，并且負例過多會導致模型難以學習到困難樣本(標注為正例的樣本)，會在損失函數的推動下遺忘對困難樣本的學習。

為了解決不平衡問題，采取非常多的解決方法，例如：從數據的角度進行數據抽樣、對大類數據欠采樣、對小類數據過采樣、利用smote生成數據、對數據進行回譯、以及在損失函數中對小類樣本的損失進行手動或者自動加權等，這些舉措在一定程度上緩解了數據不平衡帶來的模型對困難樣本難學習的問題。

但上述解決標注不平衡問題的方式，忽視損失函數本身的特點帶來的問題，其中，給損失函數加權是一種從表層去解決的思路，本質上損失函數始終平等的看待每個樣本，無論正負標簽，普通loss(如交叉熵)始終都是將樣本推向1或者0，但實際上，對標注某個字分類而言，將樣本分為正負只需要樣本的分為正負的概率大于或小于0.5即可，不需要花費更多注意力來極致的推向0或者1。這種極致的推向是導致模型在不平衡數據上失效的原因。

為解決上述問題，本發明亟需提供一種新的基于損失函數的深度學習序列標注方法、裝置、電子設備及計算機可讀存儲介質。

發明內容

本發明提供一種深度學習序列標注方法、裝置、電子設備及計算機可讀存儲介質，其主要目的在于提高在深度學習中序列標注的準確性。

為實現上述目的，本發明提供的一種深度學習序列標注方法，所述方法包括：

利用初始化的embedding層對待處理文本的句子中的每個字進行預處理，獲取所述待處理文本中的每個字的字向量；

通過bi-lstm層對所述字向量進行處理，獲取所述待處理文本的文本特征；

通過softmax層對所述文本特征進行處理，獲取所述文本特征的預測標注位置；

通過loss層對所述文本特征的預測標注位置進行處理，完成所述待處理文本的序列標注。

可選地，所述利用初始化的embedding層將待處理文本的句子中的每個字進行預處理，獲取所述待處理文本中的每個字的字向量，包括如下步驟：

利用初始化的embedding層將所述待處理文本的句子中的每個字由one-hot向量映射為低維稠密的字向量，得到所述待處理文本中的每個字的字向量。

可選地，所述通過bi-lstm層對所述字向量進行處理，獲取所述待處理文本的文本特征，包括如下步驟：

將所述待處理文本中的句子的每個字的字向量作為雙向lstm各個時間步的輸入；

將正向lstm輸出的隱狀態向量與反向lstm的在各個位置輸出的隱狀態向量進行按位置拼接，得到完整的隱狀態向量；