[發明專利]一種基于自監督學習的命名實體識別方法

在審

• 申請號: 202111539122.4
• 申請日: 2021-12-15
• 公開（公告）號: CN114239584A
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 周仁杰;胡強;萬健;張紀林;殷昱煜;蔣從鋒
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F16/35;G06F16/36;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱亞冠

1.一種基于自監督學習的命名實體識別方法，其特征在于該方法包括以下步驟：

步驟1：對數據集進行預處理；

1-1將數據集中已標注好實體類型的單詞連詞成句；

1-2將步驟1-1的句子s_i采用任意語種翻譯成句子a_i，然后再將句子a_i用與s_i相同語種翻譯成正例句子

步驟2：將步驟1中處理后的句子構建正負例句子對集合，其中正例句子對集合為集合組成，負例句子對集合為集合組成，負例句子對由原始句子和語料庫中其余句子翻譯后的句子組成；

步驟3：使用embedding編碼器分別對正例句子對和負例句子對中的句子進行embedding編碼；

步驟4：將embedding編碼后的詞嵌入向量輸入至深度神經網絡層DNN；

步驟5：將步驟4中得到的正例句子對的輸出向量和負例句子對的輸出向量做相似度計算，并將計算結果按照行拼接為一個全新的相似度矩陣M_sim；并利用對比損失函數l通過反向傳播，梯度下降算法優化步驟3中embedding編碼器f_k中的參數；

步驟6：獲取已標注實體類型的單詞所構成的句子，構建數據集，然后進一步將其分為訓練集和測試集；

步驟7：搭建基于自監督學習的命名實體識別模型，其包括依次級聯的主網絡、修正模塊；然后利用訓練集對主網絡進行訓練，再利用測試集對訓練好的主網絡進行測試，最后利用修正模塊對測試后主網絡輸出結果進行修正；

所述主網絡包括步驟5優化后embedding編碼器f_k、雙向LSTM層、CRF層；

所述修正模塊包括詞組檢索模塊、實體類型修改模塊；其中詞組檢索模塊，用于獲取主網絡輸入項的潛在實體集，并篩選出存在于公開知識圖譜的潛在實體，然后將該潛在實體以及實體類型構建成潛在實體集PE；所述潛在實體包括各單詞、由多個單詞構成的詞組；所述實體類型修改模塊，用于接收詞組檢索模塊輸出的潛在實體集PE，以及主網絡輸出的實體類型標簽，然后將主網絡輸出的實體類型與潛在實體集PE中主網絡輸入項中各潛在實體對應的實體類型進行比對，若一致則無需修改，若不一致則修正主網絡的輸出結果；

步驟8：利用測試好的基于自監督學習的命名實體識別模型實現文本的命名實體識別。

2.如權利要求1所述的一種基于自監督學習的命名實體識別方法，其特征在于所述embedding編碼器f_q、f_k的初始化參數θ_q、θ_k相同。

3.如權利要求1所述的一種基于自監督學習的命名實體識別方法，其特征在于步驟3具體是：

將句子s_i輸入至embedding編碼器f_q進行詞嵌入編碼，并得到編碼后的結果q_i；同時將句子s_i的對應正負例句子輸入至embedding編碼器f_k進行詞嵌入編碼，并得到編碼后的結果

4.如權利要求1所述的一種基于自監督學習的命名實體識別方法，其特征在于所述深度神經網絡層包括第一全連接層、Relu層和第二全連接層；

(1)第一全連接層：將embedding編碼器f_q、f_k輸出的embedding向量通過一層線性變化轉化為相同維度的輸出向量；

o_dense1＝Wx_input+b

其中，o_dense1表示輸出向量，x_input表示未經優化的embedding編碼器輸出的embedding向量，W代表權值矩陣，b代表偏置向量；

(2)Relu層：將第一全連接層的輸出向量輸入Relu激活函數使模型的收斂速度維持在一個穩定狀態；

o_dense2＝max(o_dense1，0)

其中，o_dense2代表Relu層的輸出向量；

(3)第二全連接層：將Relu層的輸出向量轉化為與預測實體類型種類數相同維度的輸出向量。