[發明專利]一種改進知識遷移的實體識別方法

在審

• 申請號: 201911374613.0
• 申請日: 2019-12-27
• 公開（公告）號: CN111144119A
• 公開（公告）日: 2020-05-12
• 發明（設計）人: 趙平;孫連英;涂帥;王金峰
• 申請（專利權）人: 北京聯合大學
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F40/216;G06F16/35;G06Q50/14
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 吳蔭芳

1.一種改進知識遷移的實體識別方法，其特征在于：

步驟一：利用輔助領域訓練集使用BERT+BiLSTM+CRF方法訓練中文命名實體識別模型，中文命名實體識別模型包括BERT模型、BiILSTM、CRF層，具體為：訓練集經過BERT模型得到文本字向量，然后通過BiILSTM深度學習上下文特征信息，進行命名實體識別，最后使用CRF層對BiLSTM的輸出序列處理；

步驟二：用輔助領域訓練集訓練word2Vec模型，訓練完成后的word2Vec模型稱為輔助領域詞向量化模型，用目標領域訓練集訓練word2Vec模型，訓練完成后的word2Vec模型稱為目標領域詞向量化模型；

步驟三：對每一個輔助領域樣本，計算詞語重要程度，并將詞語重要程度根據由大到小的順序排列，前m個詞語為輔助領域關鍵詞對每一個目標領域樣本，計算詞語重要程度，并將詞語重要程度根據由大到小的順序排列，前m個詞語為目標領域關鍵詞

步驟四：計算步驟三獲取的輔助領域關鍵詞與目標領域關鍵詞的相似性，設置相似度閾值；

步驟五：計算輔助領域句子與目標領域句子的相似性，設置句子級別相似度閾值；

步驟六：計算輔助領域樣本可擴展能力，設置可擴展能力閾值；

步驟七：用擴展后的目標領域樣本使用步驟一的BERT+BiLSTM+CRF方法訓練景點實體識別分類器，其中景點實體識別分類器和中文命名實體識別模型結構相同。

2.如權利要求1所述改進知識遷移的景點實體識別模型，其特征是：所述步驟一中的中文命名實體識別模型如下：

(1-1)輔助領域訓練集為從人民日報收集的標注了人名、地名、機構名的文本集，將輔助領域訓練集輸入到BERT模型中，BERT模型輸出文本字向量；

(1-2)將步驟(1-1)中的文本字向量輸入BiILSTM，提取上下文信息；

(1-3)用CRF層對BiLSTM的輸出序列處理得到預測的不同類實體標簽的分數值；

其中，模型采用最優化方法最大似然估計損失函數，標簽為命名實體識別標注BIO標注模式。

3.如權利要求1所述改進知識遷移的景點實體識別模型，其特征是，步驟二中，

所述的目標領域樣本集為人工爬取的旅游網站上的游記；

進一步對輔助領域樣本集用jieba分詞方法分詞得到輔助領域分詞文本，用目標領域樣本集使用jieba分詞方法分詞得到目標領域分詞文本；

進一步包括加載停用詞和用戶自定義詞典，其中用戶自定義詞典由詞語構成，包括不想被分詞器分開的詞語。

4.如權利要求1所述改進知識遷移的景點實體識別模型，其特征是，所述步驟三中輔助領域詞語重要程度具體計算步驟如下：

(3-1)計算輔助領域樣本句子中的詞頻率，其中，第i個詞在句子j中的出現頻率KF_i,j由下式得到：

式中，n_i,j表示第i個詞在句子j中出現的次數；

(3-2)為輔助領域樣本計算樣本反句子頻率ISF，其中詞語i的反句子頻率ISF_i由下式得到；

其中：|S|表示輔助領域樣本集中句子的總數量，|j:t_i∈S_j|表示t_i∈S_j出現次數，t_i表示句子中詞語，S_j表示第j個句子；

(3-3)計算輔助領域樣本中詞語在句子中的重要程度，其中，詞語i在句子j中的重要程度I(i,j)由下式計算：

I(i,j)＝KF_i,j*ISF_i。

5.如權利要求4所述改進知識遷移的景點實體識別模型，其特征是，所述步驟三中目標領域關鍵詞的計算方法與輔助領域關鍵詞的計算方法相同，唯一區別在于涉及的數據均為目標領域訓練集中的樣本。