[發(fā)明專利]基于人工智能的命名實(shí)體識別方法、裝置及電子設(shè)備

有效

• 申請?zhí)枺?/td>: 202010127101.0
• 申請日: 2020-02-28
• 公開（公告）號: CN111353310B
• 公開（公告）日: 2023-08-11
• 發(fā)明（設(shè)計(jì)）人: 慕福楠;吳晨光;王莉峰
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F40/289;G06F40/30;G06F16/35;G06F16/36;G06N3/0464;G06N3/0455;G06N3/047;G06N3/048
• 代理公司: 北京派特恩知識產(chǎn)權(quán)代理有限公司 11270
• 代理人: 王姍姍;張穎玲

1.一種基于人工智能的命名實(shí)體識別方法，其特征在于，包括：

對待識別文本中的文本元素進(jìn)行向量轉(zhuǎn)換處理，得到所述文本元素的文本表示；其中，所述文本元素的類型包括字和詞；

根據(jù)文本跨度遍歷所述待識別文本中的文本元素，以將總長度不超過所述文本跨度的文本元素組成候選實(shí)體詞；

對所述候選實(shí)體詞中文本元素對應(yīng)的文本表示進(jìn)行整合處理，得到所述候選實(shí)體詞的文本表示；

對所述候選實(shí)體詞的文本表示進(jìn)行分類處理，以在候選類別中確定所述候選實(shí)體詞所屬的類別；其中，所述候選類別包括非實(shí)體類別和多個(gè)命名實(shí)體類別；

其中，所述根據(jù)文本跨度遍歷所述待識別文本中的文本元素，以將總長度不超過所述文本跨度的文本元素組成候選實(shí)體詞，包括：

執(zhí)行以下任意一種處理：

對所述待識別文本中的文本元素進(jìn)行第一層次遍歷循環(huán)，其中，所述第一層次遍歷循環(huán)包括多次第一層次遍歷；將每個(gè)所述第一層次遍歷得到的文本元素確定為起點(diǎn)元素；針對在每個(gè)所述第一層次遍歷中確定的起點(diǎn)元素，執(zhí)行包括多次第二層次遍歷的第二層次遍歷循環(huán)：根據(jù)在所述第二層次遍歷循環(huán)中已經(jīng)執(zhí)行的第二層次遍歷的次數(shù)，確定同步增大或縮小的掃描范圍，根據(jù)所述掃描范圍對所述待識別文本中的文本元素進(jìn)行從所述起點(diǎn)元素開始的第二層次遍歷，并將所述起點(diǎn)元素和所述第二層次遍歷得到的文本元素組合為候選實(shí)體詞，直至得到的候選實(shí)體詞的長度等于所述文本跨度；或

根據(jù)多個(gè)不同長度的卷積窗口執(zhí)行以下操作：在所述待識別文本中執(zhí)行所述卷積窗口的滑動操作，且每次滑動操作的幅度為一個(gè)文本元素；將每次滑動后所述卷積窗口所覆蓋的文本元素組合為候選實(shí)體詞；其中，所述卷積窗口的長度小于或等于所述文本跨度。

2.根據(jù)權(quán)利要求1所述的命名實(shí)體識別方法，其特征在于，在所述將所述起點(diǎn)元素和所述第二層次遍歷得到的文本元素組合為候選實(shí)體詞，直至得到的候選實(shí)體詞的長度等于所述文本跨度之后，所述對所述候選實(shí)體詞中文本元素對應(yīng)的文本表示進(jìn)行整合處理，得到所述候選實(shí)體詞的文本表示，包括：

根據(jù)文本序列順序依次選取所述候選實(shí)體詞中的文本元素；其中，所述文本序列順序是從所述待識別文本中第一個(gè)文本元素依次到最后一個(gè)文本元素；

通過循環(huán)神經(jīng)網(wǎng)絡(luò)模型，對選取的文本元素的文本表示依次進(jìn)行前向傳播處理，并

將與所述候選實(shí)體詞中最后一個(gè)文本元素對應(yīng)的輸出，確定為所述候選實(shí)體詞的文本表示。

3.根據(jù)權(quán)利要求1所述的命名實(shí)體識別方法，其特征在于，在所述將每次滑動后所述卷積窗口所覆蓋的文本元素組合為候選實(shí)體詞之后，所述對所述候選實(shí)體詞中文本元素對應(yīng)的文本表示進(jìn)行整合處理，得到所述候選實(shí)體詞的文本表示，包括：

通過卷積神經(jīng)網(wǎng)絡(luò)模型，對所述候選實(shí)體詞中文本元素對應(yīng)的文本表示進(jìn)行前向傳播處理，得到所述候選實(shí)體詞的文本表示；

其中，所述卷積神經(jīng)網(wǎng)絡(luò)模型的卷積核尺寸與所述卷積窗口的長度一致。

4.根據(jù)權(quán)利要求1所述的命名實(shí)體識別方法，其特征在于，所述對所述候選實(shí)體詞的文本表示進(jìn)行分類處理，以在候選類別中確定所述候選實(shí)體詞所屬的類別，包括：

對所述候選實(shí)體詞的文本表示進(jìn)行全連接處理；

通過第一分類函數(shù)對全連接處理后的所述候選實(shí)體詞的文本表示進(jìn)行映射處理，得到與多個(gè)所述候選類別一一對應(yīng)的概率；

將數(shù)值最大的概率對應(yīng)的候選類別，確定為所述候選實(shí)體詞所屬的類別；

其中，所述第一分類函數(shù)用于對所述候選實(shí)體詞進(jìn)行二分類。

5.根據(jù)權(quán)利要求1所述的命名實(shí)體識別方法，其特征在于，所述對所述候選實(shí)體詞的文本表示進(jìn)行分類處理，以在候選類別中確定所述候選實(shí)體詞所屬的類別，包括：

對所述候選實(shí)體詞的文本表示進(jìn)行全連接處理；

通過第二分類函數(shù)對全連接處理后的所述候選實(shí)體詞的文本表示進(jìn)行映射處理，得到與多個(gè)所述候選類別一一對應(yīng)的概率；

將超過概率閾值的概率對應(yīng)的候選類別，確定為所述候選實(shí)體詞所屬的類別；

其中，所述第二分類函數(shù)用于對所述候選實(shí)體詞進(jìn)行多分類。