[發(fā)明專利]一種基于神經(jīng)網(wǎng)絡(luò)概率消歧的網(wǎng)絡(luò)文本命名實(shí)體識別方法

有效

• 申請?zhí)枺?/td>: 201710390409.2
• 申請日: 2017-05-27
• 公開（公告）號: CN107203511B
• 公開（公告）日: 2020-07-17
• 發(fā)明（設(shè)計）人: 周勇;劉兵;韓兆宇;王重秋
• 申請（專利權(quán)）人: 中國礦業(yè)大學(xué)
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F40/289;G06N3/08
• 代理公司: 南京瑞弘專利商標(biāo)事務(wù)所(普通合伙) 32249
• 代理人: 彭雄

1.一種基于神經(jīng)網(wǎng)絡(luò)概率消歧的網(wǎng)絡(luò)文本命名實(shí)體識別方法，其特征在于：將無標(biāo)簽語料分詞，利用Word2Vec提取詞向量，將樣本語料轉(zhuǎn)換成詞特征矩陣并窗口化，構(gòu)建深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，在神經(jīng)網(wǎng)絡(luò)的輸出層加入softmax函數(shù)做歸一化處理，得到每個詞對應(yīng)命名實(shí)體類別的概率矩陣；將概率矩陣重新窗口化，利用條件隨機(jī)場模型進(jìn)行消歧，得到最后的命名實(shí)體標(biāo)注，包括以下步驟：

步驟1，通過網(wǎng)頁爬蟲獲取無標(biāo)簽語料，從語料庫獲取有命名實(shí)體標(biāo)注的樣本語料，利用自然語言工具對無標(biāo)簽語料進(jìn)行分詞；

步驟2，對已分詞好的無標(biāo)簽語料和樣本語料通過Word2Vec工具進(jìn)行詞向量空間的訓(xùn)練；

步驟3，將樣本語料中的文本按照已訓(xùn)練的Word2Vec模型轉(zhuǎn)換成代表詞特征的詞向量，并對詞向量窗口化，將窗口w乘詞向量長度d的二維矩陣作為神經(jīng)網(wǎng)絡(luò)的輸入；將樣本語料中的標(biāo)簽轉(zhuǎn)成one-hot形式作為神經(jīng)網(wǎng)絡(luò)的輸出；神經(jīng)網(wǎng)絡(luò)的輸出層采用softmax函數(shù)進(jìn)行歸一化，使神經(jīng)網(wǎng)絡(luò)的分類結(jié)果為詞匯屬于非命名實(shí)體及各類命名實(shí)體的概率，調(diào)整神經(jīng)網(wǎng)絡(luò)中的結(jié)構(gòu)、深度、節(jié)點(diǎn)數(shù)、步長、激活函數(shù)、初始值參數(shù)以及選取激活函數(shù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)；

步驟4，將神經(jīng)網(wǎng)絡(luò)輸出的預(yù)測矩陣重新窗口化，將待標(biāo)注詞的上下文預(yù)測信息作為條件隨機(jī)場模型中待標(biāo)注詞的實(shí)際分類的關(guān)聯(lián)點(diǎn)，根據(jù)訓(xùn)練語料利用EM算法，計算出各邊的期望值，訓(xùn)練出對應(yīng)的條件隨機(jī)場模型；

步驟5，識別時，首先將待識別文本按照已訓(xùn)練的Word2Vec模型轉(zhuǎn)換成代表詞特征的詞向量，若Word2Vec模型中不包含對應(yīng)的詞匯，則采用增量學(xué)習(xí)、獲取詞向量、回溯詞向量空間的方法將該詞轉(zhuǎn)換為詞向量，并對詞向量窗口化，將窗口w乘詞向量長度d的二維矩陣作為神經(jīng)網(wǎng)絡(luò)的輸入；然后將神經(jīng)網(wǎng)絡(luò)得到的預(yù)測矩陣重新窗口化放入訓(xùn)練好的條件隨機(jī)場模型中進(jìn)行消歧，獲得待識別文本中最終的命名實(shí)體標(biāo)注。

2.根據(jù)權(quán)利要求1所述基于神經(jīng)網(wǎng)絡(luò)概率消歧的網(wǎng)絡(luò)文本命名實(shí)體識別方法，其特征在于：所述Word2Vec工具的參數(shù)如下：詞向量長度選擇200，迭代次數(shù)25次，初始步長0.025，最小步長0.0001，選用CBOW模型。

3.根據(jù)權(quán)利要求1所述基于神經(jīng)網(wǎng)絡(luò)概率消歧的網(wǎng)絡(luò)文本命名實(shí)體識別方法，其特征在于：所述神經(jīng)網(wǎng)絡(luò)的參數(shù)如下：隱藏層2層，隱藏節(jié)點(diǎn)數(shù)150個，步長0.01，batchSize選取40，激活函數(shù)使用sigmoid函數(shù)。

4.根據(jù)權(quán)利要求1所述基于神經(jīng)網(wǎng)絡(luò)概率消歧的網(wǎng)絡(luò)文本命名實(shí)體識別方法，其特征在于：將樣本語料中的標(biāo)簽轉(zhuǎn)成one-hot形式的方法：將樣本語料中的“ /o”、“ /n”、“ /p”標(biāo)簽相應(yīng)的轉(zhuǎn)化為命名實(shí)體標(biāo)簽“ /Org-B”、“ /Org-I”、“ /Per-B”、“ /Per-I”、“ /Loc-B”、“ /Loc-I”，再 轉(zhuǎn)換成one-hot的形式。

5.根據(jù)權(quán)利要求1所述基于神經(jīng)網(wǎng)絡(luò)概率消歧的網(wǎng)絡(luò)文本命名實(shí)體識別方法，其特征在于：詞向量窗口化的窗口大小為5。

6.根據(jù)權(quán)利要求1所述基于神經(jīng)網(wǎng)絡(luò)概率消歧的網(wǎng)絡(luò)文本命名實(shí)體識別方法，其特征在于：神經(jīng)網(wǎng)絡(luò)訓(xùn)練時，從樣本數(shù)據(jù)中抽取十分之一的詞匯不參與神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，作為神經(jīng)網(wǎng)絡(luò)的衡量標(biāo)準(zhǔn)。