[發(fā)明專利]縮簡詞的消歧方法和消歧設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201611115210.0
• 申請(qǐng)日: 2016-12-07
• 公開（公告）號(hào): CN108170662A
• 公開（公告）日: 2018-06-15
• 發(fā)明（設(shè)計(jì)）人: 宋雙永;繆慶亮;孟遙
• 申請(qǐng)（專利權(quán)）人: 富士通株式會(huì)社
• 主分類號(hào): G06F17/27
• 分類號(hào): G06F17/27
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 康建峰;吳瓊

本發(fā)明公開了一種縮簡詞的消歧方法和消歧設(shè)備。該消歧方法包括：針對(duì)待處理文本中的縮簡詞，查找共現(xiàn)語義知識(shí)庫中與該縮簡詞對(duì)應(yīng)的全稱實(shí)體；在查找到多個(gè)全稱實(shí)體的情況下，針對(duì)每一個(gè)全稱實(shí)體，檢索待處理文本中出現(xiàn)的、共現(xiàn)語義知識(shí)庫中與該全稱實(shí)體存在關(guān)聯(lián)關(guān)系的參考實(shí)體；基于參考實(shí)體與該全稱實(shí)體之間的共現(xiàn)支持概率TF?IDF，計(jì)算該全稱實(shí)體的共現(xiàn)概率；基于共現(xiàn)概率，選擇多個(gè)全稱實(shí)體之一作為與該縮簡詞對(duì)應(yīng)的全稱實(shí)體；其中，所述TF?IDF等于參考實(shí)體與該全稱實(shí)體的共現(xiàn)次數(shù)TF和參考實(shí)體與該全稱實(shí)體的逆向文件頻率IDF之積。

技術(shù)領(lǐng)域

本發(fā)明一般地涉及自然語言處理領(lǐng)域。具體而言，本發(fā)明涉及一種能夠?yàn)樘幚砦谋局械膶?duì)應(yīng)于多個(gè)全稱的縮簡詞準(zhǔn)確地確定所對(duì)應(yīng)的單個(gè)全稱的消歧方法和消歧設(shè)備。

背景技術(shù)

在自然語言中，經(jīng)常出現(xiàn)縮簡詞，即相對(duì)于全稱，經(jīng)縮減后的縮寫或簡稱。例如，在中文中，“海南航空股份有限公司”可以簡稱為“海航”，“海上航行”也能簡稱為“海航”。在英文中，“Machine Learning”可以縮寫為“ML”，“Malcolm Lincoln”也可以縮寫為“ML”。

由于縮簡詞存在著與全稱的一對(duì)多情形，所以在自然語言處理中，縮簡詞的歧義消除(以下簡稱為消歧)就成為必須解決的問題，是詞義消歧中的重要的子任務(wù)。在機(jī)器翻譯、語音問答等應(yīng)用中，縮簡詞的消歧的難度較大。然而，如果不能實(shí)現(xiàn)縮簡詞的消歧，自然語言處理的結(jié)果的可讀性不佳。例如，在從英文到中文的機(jī)器翻譯應(yīng)用中，翻譯結(jié)果是包括沒有任何翻譯的英文縮寫的中文句子。這樣的句子會(huì)讓用戶看起來不倫不類，有未處理完成之感，甚至讓人無法理解翻譯結(jié)果的意思。例如，“ML是一位令人尊敬的歌手。”。

傳統(tǒng)的方法例如從縮簡詞的上下文中查找該縮簡詞的真實(shí)含義。然而，該方法的問題在于縮簡詞的上下文中并不總包含其真實(shí)含義。

因此，本發(fā)明旨在準(zhǔn)確地將具有歧義的縮簡詞對(duì)應(yīng)到正確的實(shí)體。

發(fā)明內(nèi)容

在下文中給出了關(guān)于本發(fā)明的簡要概述，以便提供關(guān)于本發(fā)明的某些方面的基本理解。應(yīng)當(dāng)理解，這個(gè)概述并不是關(guān)于本發(fā)明的窮舉性概述。它并不是意圖確定本發(fā)明的關(guān)鍵或重要部分，也不是意圖限定本發(fā)明的范圍。其目的僅僅是以簡化的形式給出某些概念，以此作為稍后論述的更詳細(xì)描述的前序。

本發(fā)明的目的是提出一種能夠?qū)哂衅缌x的縮簡詞進(jìn)行消歧的方法和設(shè)備。

為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的一個(gè)方面，提供了一種縮簡詞的消歧方法，該方法包括：針對(duì)待處理文本中的縮簡詞，查找共現(xiàn)語義知識(shí)庫中與該縮簡詞對(duì)應(yīng)的全稱實(shí)體；在查找到多個(gè)全稱實(shí)體的情況下，針對(duì)每一個(gè)全稱實(shí)體，檢索待處理文本中出現(xiàn)的、共現(xiàn)語義知識(shí)庫中與該全稱實(shí)體存在關(guān)聯(lián)關(guān)系的參考實(shí)體；基于參考實(shí)體與該全稱實(shí)體之間的共現(xiàn)支持概率TF-IDF，計(jì)算該全稱實(shí)體的共現(xiàn)概率；基于共現(xiàn)概率，選擇多個(gè)全稱實(shí)體之一作為與該縮簡詞對(duì)應(yīng)的全稱實(shí)體；其中，所述TF-IDF等于參考實(shí)體與該全稱實(shí)體的共現(xiàn)次數(shù)TF和參考實(shí)體與該全稱實(shí)體的逆向文件頻率IDF之積。

根據(jù)本發(fā)明的另一個(gè)方面，提供了一種縮簡詞的消歧設(shè)備，該設(shè)備包括：查找裝置，被配置為：針對(duì)待處理文本中的縮簡詞，查找共現(xiàn)語義知識(shí)庫中與該縮簡詞對(duì)應(yīng)的全稱實(shí)體；確定裝置，被配置為：在查找到多個(gè)全稱實(shí)體的情況下，針對(duì)每一個(gè)全稱實(shí)體，檢索待處理文本中出現(xiàn)的、共現(xiàn)語義知識(shí)庫中與該全稱實(shí)體存在關(guān)聯(lián)關(guān)系的參考實(shí)體；基于參考實(shí)體與該全稱實(shí)體之間的共現(xiàn)支持概率TF-IDF，計(jì)算該全稱實(shí)體的共現(xiàn)概率；基于共現(xiàn)概率，選擇多個(gè)全稱實(shí)體之一作為與該縮簡詞對(duì)應(yīng)的全稱實(shí)體；其中，所述TF-IDF等于參考實(shí)體與該全稱實(shí)體的共現(xiàn)次數(shù)TF和參考實(shí)體與該全稱實(shí)體的逆向文件頻率IDF之積。

另外，根據(jù)本發(fā)明的另一方面，還提供了一種存儲(chǔ)介質(zhì)。所述存儲(chǔ)介質(zhì)包括機(jī)器可讀的程序代碼，當(dāng)在信息處理設(shè)備上執(zhí)行所述程序代碼時(shí)，所述程序代碼使得所述信息處理設(shè)備執(zhí)行根據(jù)本發(fā)明的上述方法。