[發(fā)明專利]基于歧義實(shí)體詞的文本處理方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201810044364.8
• 申請(qǐng)日: 2018-01-17
• 公開（公告）號(hào): CN108280061B
• 公開（公告）日: 2021-10-26
• 發(fā)明（設(shè)計(jì)）人: 馮知凡;陸超;朱勇;李瑩
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06F40/295
• 分類號(hào): G06F40/295;G06F40/247;G06N3/08;G06K9/62
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 宋合成

本發(fā)明提出一種基于歧義實(shí)體詞的文本處理方法和裝置，其中，方法包括：獲取待消歧文本的上下文，以及待消歧文本表征的至少兩個(gè)候選實(shí)體，通過訓(xùn)練的詞向量模型生成上下文的語義向量，通過訓(xùn)練的無監(jiān)督神經(jīng)網(wǎng)絡(luò)模型，生成至少兩個(gè)候選實(shí)體的第一實(shí)體向量，計(jì)算上下文與每一個(gè)候選實(shí)體之間的相似度，確定出待消歧文本在上下文中所表征的目標(biāo)實(shí)體。通過已學(xué)習(xí)得到各實(shí)體文本語義以及各實(shí)體之間關(guān)系的無監(jiān)督神經(jīng)網(wǎng)絡(luò)模型，使得生成的候選實(shí)體的第一實(shí)體向量也包含了候選實(shí)體的文本語義以及與各實(shí)體之間的關(guān)系，使得待消歧文本的實(shí)體信息得以完整刻畫，再與上下文語義向量計(jì)算相似度，確定目標(biāo)實(shí)體，提高了待消歧文本消歧的準(zhǔn)確度。

技術(shù)領(lǐng)域

本發(fā)明涉及自然語言處理技術(shù)領(lǐng)域，尤其涉及一種基于歧義實(shí)體詞的文本處理方法和裝置。

背景技術(shù)

隨著移動(dòng)互聯(lián)網(wǎng)的普及，微博、貼吧及各大新聞網(wǎng)站等極大的方便了人們的生活，但這些平臺(tái)上的數(shù)據(jù)絕大部分都是以非結(jié)構(gòu)化或半結(jié)構(gòu)化的形式存在，導(dǎo)致這些知識(shí)庫中的數(shù)據(jù)存在著大量的歧義實(shí)體詞，通過對(duì)歧義實(shí)體詞進(jìn)行消歧處理，可以辨別在不同上下文中該實(shí)體詞真實(shí)指示哪個(gè)事物，為后續(xù)的具體應(yīng)用提供便利。

但相關(guān)技術(shù)中，一種方式可以利用現(xiàn)有知識(shí)庫數(shù)據(jù)，計(jì)算文本重疊度和相關(guān)度，進(jìn)行消歧；另一種方式利用現(xiàn)有知識(shí)庫數(shù)據(jù)，進(jìn)行無監(jiān)督或半監(jiān)督的模型訓(xùn)練，依據(jù)語義對(duì)歧義實(shí)體詞進(jìn)行消歧。但這兩種方式，消歧效果較差。

發(fā)明內(nèi)容

本發(fā)明旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問題之一。

為此，本發(fā)明的第一個(gè)目的在于提出一種基于歧義實(shí)體詞的文本處理方法，訓(xùn)練完成的無監(jiān)督神經(jīng)網(wǎng)絡(luò)模型已學(xué)習(xí)得到各實(shí)體的文本語義以及各實(shí)體之間的關(guān)系，通過無進(jìn)度神經(jīng)網(wǎng)絡(luò)模型對(duì)候選實(shí)體進(jìn)行處理，生成第一實(shí)體向量，使得第一實(shí)體向量也包含了候選實(shí)體的文本語義以及與各實(shí)體之間的關(guān)系，使得實(shí)體信息刻畫較完整，再將第一實(shí)體向量和上下文語義向量計(jì)算相似度，確定目標(biāo)實(shí)體，提高了待消歧文本消歧的準(zhǔn)確度。

本發(fā)明的第二個(gè)目的在于提出一種基于歧義實(shí)體詞的文本處理裝置。

本發(fā)明的第三個(gè)目的在于提出一種計(jì)算機(jī)設(shè)備。

本發(fā)明的第四個(gè)目的在于提出一種非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

本發(fā)明的第五個(gè)目的在于提出一種計(jì)算機(jī)程序產(chǎn)品。

為達(dá)上述目的，本發(fā)明第一方面實(shí)施例提出了一種基于歧義實(shí)體詞的文本處理方法，包括：

獲取待消歧文本的上下文，以及所述待消歧文本表征的至少兩個(gè)候選實(shí)體；其中，所述至少兩個(gè)候選實(shí)體具有不同語義；

根據(jù)經(jīng)過訓(xùn)練的詞向量模型，生成所述上下文的語義向量；

根據(jù)經(jīng)過訓(xùn)練的無監(jiān)督神經(jīng)網(wǎng)絡(luò)模型，生成所述至少兩個(gè)候選實(shí)體的第一實(shí)體向量；其中，所述無監(jiān)督神經(jīng)網(wǎng)絡(luò)模型已學(xué)習(xí)得到各實(shí)體的文本語義以及各實(shí)體之間的關(guān)系；

根據(jù)所述上下文的語義向量和所述至少兩個(gè)候選實(shí)體的第一實(shí)體向量，確定所述上下文與每一個(gè)候選實(shí)體之間的相似度；

根據(jù)所述上下文與每一個(gè)候選實(shí)體之間的相似度，從至少兩個(gè)候選實(shí)體中，確定出所述待消歧文本在所述上下文中所表征的目標(biāo)實(shí)體。