[發明專利]一種基于特征融合的命名實體識別方法

在審

• 申請號: 201910099671.0
• 申請日: 2019-01-31
• 公開（公告）號: CN109800437A
• 公開（公告）日: 2019-05-24
• 發明（設計）人: 趙青;王丹;杜金蓮;付利華;蘇航
• 申請（專利權）人: 北京工業大學
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

1.一種基于特征融合的命名實體識別方法，其特征包括以下四個模塊：數據預處理模塊(1)、特征構建模塊(2)、訓練命名實體網絡模型模塊(3)、命名實體分類器模塊(4)；

(1)數據預處理模塊

在已標注的訓練集中加入未標注的數據形成稀疏標記的語料庫，并載入領域本體；根據標點符號、數字和空格符將待處理的文本切分成漢字字符串，并去除停用詞；

(2)特征構建模塊

該模塊分為特征提取和特征融合，具體分為四個子模塊：語義特征提取、詞特征提取、字符特征提取和特征融合；

(3)訓練命名實體網絡模型模塊

將融合后的特征作為模型的輸入進行訓練，由于命名實體識別也稱為序列標注任務，需要提取上下文信息輔助推斷實體類別，因此訓練模型將采用具有時序記憶功能的神經網絡模型LSTM或GRU；

(4)命名實體分類器模塊

根據神經網絡LSTM或GRU模型的softmax分類器來產生最后的實體標簽分類結果。

2.根據權利要求1所述的一種基于特征融合的命名實體識別方法，其特征在于步驟(2)，具體如下：

語義特征提取(21)：語義特征包含兩個部分：概念特征和非概念詞特征；其中，概念是指由多個包含語義的單獨詞匯組成的一個特殊的領域術語；非概念詞就是指一個單獨的語義詞匯；對于能夠從領域本體里映射出概念的提取概念特征，不能提取概念的直接提取詞特征；

首先將預處理后的語料映射到領域本體，通過最大匹配法將數據切分為語義集{Y₁，...Y_N}∈D，其中包含概念集和非概念詞集{G₁，...G_N}∪{F₁，...F_N}∈Y；其次采用CBOW模型來提取語義特征，CBOW的訓練目標是將如下平均對數概率的最大化，公式為：

其中，K為數據集D中目標詞的上下文信息，Y_i為數據集D中的語義；

在CBOW中，概率Pr(Y_i|Y_i-K，...，Y_i+K)是由如下公式算出的：

其中，y₀和y_i為目標語義Y_i輸入和輸出的向量表示，并且y₀為所有上下文的平均向量表示，T是轉秩，W為語義詞典；

詞特征提取(22)：詞特征提取分為兩種情況，基于概念的詞特征提取和基于非概念的詞特征提取；

基于概念的詞特征提取是在概念特征的基礎上提取詞特征，由于一個概念是由多個詞組成的G＝{C₁，...C_N}，因此概念的含義是由所包含的詞決定的；基于概念的詞特征提取的公式表示為：

其中，g_i為概念G_i的概念向量，c_j為g_n中第j個詞向量，g_n為概念G_i所包含的詞的個數，Q_i由概念向量和其平均詞向量相加得出，+為向量相加運算；

非概念的詞特征提取方法將采用語義特征提取模塊(21)的CBOW模型來直接提取詞特征；

字符特征提取(23)：在概念詞的基礎上和在非概念詞的基礎上提取字符特征；基于概念中的詞提取字符特征公式如下：

其中，z_k為c _n中第k個字符向量，c _n為概念詞C_i所包含的字符個數，+為向量相加運算，Q_i由概念向量、其平均詞向量和其平均字符向量相加得出；基于非概念詞特征提取字符特征公式如下：

其中，w _i為非概念詞F_i的詞向量表示，f_n為非概念詞F_i所包含的字符個數，d_m為f_n中第m個字符向量，+為向量相加運算，由非概念詞向量和其平均字符向量相加得出；

在中文中，字符所在位置不同表達的含義也不一樣，因此提取字符的位置特征也輔助推斷詞語的語義信息；對于每一個字符我們用B(開始)、I(中間)、E(結束)來表示，公式表達為：

其中，c_n為詞C_i所包含的字符個數，為詞C_i中的第一個字符特征，為詞C_i的中間字符特征，為詞C_i中的最后一個字符特征；

對于非概念特征詞提取其字符的位置特征也采用同樣的表達方式；

特征融合(24)：根據上述內容，特征融合同樣分為兩種情況，概念特征融合和非概念詞特征融合；主要考慮的是在基于部分領域本體的命名實體識別任務中概念特征和字詞特征一樣，它在稀疏標記的語料庫中直接提取部分未標注的命名實體，從而減少計算量；

概念特征融合：將提取出的概念特征、詞特征和字符特以及字符的位置特征進行融合，概念特征融合的公式表達為：

非概念詞特征融合：將提取出的詞特征、字符特征和字符的位置特征相融合，非概念詞特征融合的公式表達為：

其中,f_n為詞F_i所包含的字符個數，為詞F_i中的第一個字符，為詞F_i的中間字符特征,詞F_i中的最后一個字符特征；

采用計算本體概念特征相似度的方法來降低概念向量的維度，公式如下：

其中，o_i為本體中的一個概念特征，g_i和g_m為數據集D中識別出的概念特征，R()為g_i和g_m的關系，maxsimilarity()為余弦相似度，α為相似度閾值，初始閾值設為0.9，采用梯度下降的方法來計算誤差，就是使誤差函數平滑連續的計算梯度下降的斜率，越接近最小值梯度越小，直到梯度的斜率達到最小值就是相似度的最優閾值。