[發(fā)明專利]命名實(shí)體識(shí)別方法、訓(xùn)練方法、裝置、設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011364643.6
• 申請(qǐng)日: 2020-11-27
• 公開（公告）號(hào): CN113515941A
• 公開（公告）日: 2021-10-19
• 發(fā)明（設(shè)計(jì)）人: 吳坤
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06F40/295
• 分類號(hào): G06F40/295;G06F40/216;G06N3/04;G06N3/08
• 代理公司: 北京三高永信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 徐立

1.一種命名實(shí)體識(shí)別方法，其特征在于，所述方法包括：

獲取輸入文本，所述輸入文本包括至少一個(gè)字符；

對(duì)所述輸入文本中的每個(gè)字符進(jìn)行字符編碼，得到每個(gè)字符的第一字符編碼向量；

基于所述每個(gè)字符的第一字符編碼向量，預(yù)測(cè)所述每個(gè)字符為候選實(shí)體類型的開始字符的第一概率，以及所述每個(gè)字符為所述候選實(shí)體類型的結(jié)束字符的第二概率；

基于所述第一概率和所述第二概率識(shí)別出屬于所述候選實(shí)體類型的命名實(shí)體。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述字符的第一字符編碼向量，預(yù)測(cè)所述字符為候選實(shí)體類型的開始字符的第一概率，以及所述字符為所述候選實(shí)體類型的結(jié)束字符的第二概率，包括：

調(diào)用二元模型中的第一分類層對(duì)所述字符的第一字符編碼向量進(jìn)行預(yù)測(cè)，得到所述字符的第二字符編碼向量，以及所述字符為所述候選實(shí)體類型的開始字符的第一概率；

對(duì)所述字符的第一字符編碼向量和所述第二字符編碼向量進(jìn)行級(jí)聯(lián)，得到所述字符的合并字符編碼向量；

調(diào)用所述二元模型的第二分類層對(duì)所述字符的所述合并字符編碼向量進(jìn)行預(yù)測(cè)，得到所述字符為所述候選實(shí)體類型的結(jié)束字符的第二概率。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述第一分類層為第一全連接層，所述第二分類層為第二全連接層；

所述調(diào)用二元模型中的第一分類層對(duì)所述字符的第一字符編碼向量進(jìn)行預(yù)測(cè)，得到所述字符的第二字符編碼向量，以及所述字符為所述候選實(shí)體類型的開始字符的第一概率，包括：

調(diào)用所述第一全連接層對(duì)所述字符的第一字符編碼向量進(jìn)行預(yù)測(cè)，得到所述字符的第二字符編碼向量，以及所述字符為所述候選實(shí)體類型的開始字符的第一概率；

所述調(diào)用所述二元模型的第二分類層對(duì)所述字符的所述合并字符編碼向量進(jìn)行預(yù)測(cè)，得到所述字符為所述候選實(shí)體類型的結(jié)束字符的第二概率，包括：

調(diào)用所述第二全連接層對(duì)所述字符的所述合并字符編碼向量進(jìn)行預(yù)測(cè)，得到所述字符為所述候選實(shí)體類型的結(jié)束字符的第二概率。

4.根據(jù)權(quán)利要求1至3任一所述的方法，其特征在于，所述對(duì)所述輸入文本中的每個(gè)字符進(jìn)行字符編碼，得到每個(gè)字符的字符編碼向量，包括：

調(diào)用語(yǔ)言模型對(duì)所述輸入文本中的每個(gè)字符進(jìn)行編碼，得到所述每個(gè)字符的字符編碼向量。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述調(diào)用語(yǔ)言模型對(duì)所述輸入文本中的每個(gè)字符進(jìn)行編碼，得到所述每個(gè)字符的字符編碼向量，包括：

調(diào)用來(lái)自變壓器的雙向編碼器表示BERT模型中的編碼器對(duì)所述輸入文本中的每個(gè)字符進(jìn)行編碼，得到所述每個(gè)字符的字符編碼向量。

6.一種命名實(shí)體模型的訓(xùn)練方法，其特征在于，所述命名實(shí)體模型包括：語(yǔ)言模型和二元模型，所述方法包括：

獲取訓(xùn)練集，所述訓(xùn)練集包括樣本文本、以及所述樣本文本中的樣本命名實(shí)體；

調(diào)用所述預(yù)訓(xùn)練語(yǔ)言模型對(duì)所述樣本文本中的每個(gè)字符進(jìn)行字符編碼，得到每個(gè)字符的第一字符編碼向量；

調(diào)用所述二元模型基于所述每個(gè)字符的第一字符編碼向量，預(yù)測(cè)所述每個(gè)字符為候選實(shí)體類型的開始字符的第一概率，以及所述每個(gè)字符為所述候選實(shí)體類型的結(jié)束字符的第二概率；基于所述第一概率和所述第二概率識(shí)別出屬于所述候選實(shí)體類型的預(yù)測(cè)命名實(shí)體；

基于所述預(yù)測(cè)命名實(shí)體和所述樣本命名實(shí)體之間的誤差，對(duì)所述語(yǔ)言模型和所述二元模型的網(wǎng)絡(luò)參數(shù)進(jìn)行訓(xùn)練。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述調(diào)用所述預(yù)訓(xùn)練語(yǔ)言模型對(duì)所述樣本文本中的每個(gè)字符進(jìn)行字符編碼，得到每個(gè)字符的第一字符編碼向量，包括：

調(diào)用來(lái)自變壓器的雙向編碼器表示BERT模型中的編碼器對(duì)所述樣本文本中的每個(gè)字符進(jìn)行字符編碼，得到每個(gè)字符的第一字符編碼向量。