[發(fā)明專利]基于預(yù)訓(xùn)練模型融合詞典信息的中文命名實(shí)體識別方法

在審

• 申請?zhí)枺?/td>: 202011499251.0
• 申請日: 2020-12-17
• 公開（公告）號: CN112487818A
• 公開（公告）日: 2021-03-12
• 發(fā)明（設(shè)計）人: 張琨;張漢同;朱錦雷;張傳鋒
• 申請（專利權(quán)）人: 神思電子技術(shù)股份有限公司
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F40/242;G06F40/126
• 代理公司: 濟(jì)南泉城專利商標(biāo)事務(wù)所 37218
• 代理人: 趙玉鳳

1.一種基于預(yù)訓(xùn)練模型融合詞典信息的中文命名實(shí)體識別方法，其特征在于：包括以下步驟：

S01）、編碼模型采用預(yù)訓(xùn)練模型，編碼模塊的輸入為中文字符序列，輸出為每個字符對應(yīng)的隱狀態(tài)向量，即通過預(yù)訓(xùn)練模型獲取中文字符序列對應(yīng)的隱狀態(tài)向量表示，作為第一表示；

S02）、單詞邊界特征構(gòu)建模塊獲取字符序列對應(yīng)的特征向量表示，作為第二表示；

S03）、將第一表示和第二表示連接后送入解碼模塊，解碼模塊利用條件隨機(jī)場建模、維特比算法解碼，得到每個字符對應(yīng)的類型，進(jìn)而識別出其中實(shí)體。

2.根據(jù)權(quán)利要求1所述的基于預(yù)訓(xùn)練模型融合詞典信息的中文命名實(shí)體識別方法，其特征在于：預(yù)訓(xùn)練模型采用bert、roberta、ernie模型中的一種。

3.根據(jù)權(quán)利要求1所述的基于預(yù)訓(xùn)練模型融合詞典信息的中文命名實(shí)體識別方法，其特征在于：單詞邊界特征構(gòu)建模塊根據(jù)領(lǐng)域?qū)嶓w詞典提取字符序列中的所有實(shí)體，進(jìn)而計算出每個字符對應(yīng)的特征向量；特征向量的第一維表示是否存在實(shí)體以該字符為首字符，如果存在，則第一維的值為1，否則為0；第二維表示是否存在實(shí)體以該字符為末尾字符，如果存在，則第二維的值為1，否則為0。

4.根據(jù)權(quán)利要求1或3所述的基于預(yù)訓(xùn)練模型融合詞典信息的中文命名實(shí)體識別方法，其特征在于：單詞邊界特征構(gòu)建模塊獲取字符序列對應(yīng)的特征向量表示的過程為：

S21）、領(lǐng)域?qū)嶓w詞典構(gòu)建，針對某個應(yīng)用領(lǐng)域，通過包括網(wǎng)上公布數(shù)據(jù)、實(shí)際場景收集、標(biāo)注在內(nèi)的途徑構(gòu)建實(shí)體詞典；

S22）、潛藏實(shí)體提取與邊界確定，根據(jù)領(lǐng)域?qū)嶓w詞典，提取字符序列中所有可能的實(shí)體以及每一個實(shí)體在字符序列中的起始與結(jié)束位置；

S23）、單詞邊界特征構(gòu)建，針對字符序列中的每一個字符，構(gòu)建一個兩維的單詞邊界特征向量，計算方法是：在所有潛藏實(shí)體中，只要有一個實(shí)體以當(dāng)前位置為啟示位置，則第一維值為1，否則為0；同樣，只要有一個實(shí)體以當(dāng)前位置為結(jié)束位置，則第二維值為1，否則為0。

5.根據(jù)權(quán)利要求1所述的基于預(yù)訓(xùn)練模型融合詞典信息的中文命名實(shí)體識別方法，其特征在于：解碼模塊輸入是第一表示和第二表示連接后的向量，然后利用條件隨機(jī)場算法進(jìn)行解碼，得到每個字符的類別，根據(jù)字符類別識別出實(shí)體的位置與類別。

6.根據(jù)權(quán)利要求5所述的基于預(yù)訓(xùn)練模型融合詞典信息的中文命名實(shí)體識別方法，其特征在于：字符類別根據(jù)BIO規(guī)則與實(shí)體類別來確定。