[發(fā)明專利]一種基于實(shí)體知識(shí)庫(kù)的語(yǔ)言模型平滑方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201711265786.X
• 申請(qǐng)日: 2017-12-05
• 公開（公告）號(hào): CN107958068B
• 公開（公告）日: 2020-02-14
• 發(fā)明（設(shè)計(jì)）人: 趙峰;田澤亮;沈燏;金海
• 申請(qǐng)（專利權(quán)）人: 華中科技大學(xué)
• 主分類號(hào): G06F16/953
• 分類號(hào): G06F16/953;G06F16/36;G06F40/295;G06F40/30
• 代理公司: 42201 華中科技大學(xué)專利中心
• 代理人: 廖盈春;李智

本發(fā)明公開一種基于實(shí)體知識(shí)庫(kù)的語(yǔ)言模型平滑方法，包括：預(yù)先確定實(shí)體知識(shí)庫(kù)；采用最大似然估計(jì)法，對(duì)語(yǔ)料庫(kù)中的每篇文檔構(gòu)建原始文檔語(yǔ)言模型，以及對(duì)整個(gè)語(yǔ)料庫(kù)構(gòu)建語(yǔ)料庫(kù)語(yǔ)言模型；使用命名實(shí)體識(shí)別技術(shù)識(shí)別每篇文檔中的命名實(shí)體，使用命名實(shí)體鏈接技術(shù)將識(shí)別的命名實(shí)體鏈接到實(shí)體知識(shí)庫(kù)中實(shí)體上，將每篇文檔與實(shí)體知識(shí)庫(kù)之間建立聯(lián)系；根據(jù)實(shí)體鏈接，提取每篇文檔中的命名實(shí)體在實(shí)體知識(shí)庫(kù)中的信息，融合成每篇文檔的背景知識(shí)文檔，采用最大似然估計(jì)法，構(gòu)建背景知識(shí)語(yǔ)言模型；結(jié)合背景知識(shí)語(yǔ)言模型和語(yǔ)料庫(kù)語(yǔ)言模型兩種語(yǔ)言模型信息，對(duì)原始文檔語(yǔ)言模型進(jìn)行兩次平滑。本發(fā)明提高了平滑后語(yǔ)言模型的魯棒性。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)信息檢索技術(shù)領(lǐng)域，更具體地，涉及一種基于實(shí)體知識(shí)庫(kù)的語(yǔ)言模型平滑方法。

背景技術(shù)

語(yǔ)言模型是描述自然語(yǔ)言內(nèi)在規(guī)律的數(shù)學(xué)模型。它廣泛地應(yīng)用于語(yǔ)音識(shí)別、手寫體文字識(shí)別、機(jī)器翻譯、信息檢索和詞性識(shí)別等自然語(yǔ)言處理領(lǐng)域。在信息檢索中，許多著名的檢索模型都是以語(yǔ)言模型為基礎(chǔ)的，如，SDM(sequential dependence model)、LDA(latent dirichlet allocation)、RM3(relevance mode)等。給定文檔的語(yǔ)言模型，根據(jù)概率計(jì)算公式可以計(jì)算出從文檔d的主題中采樣得到查詢語(yǔ)句q的概率，從而衡量查詢語(yǔ)句q和文檔d之間的語(yǔ)義相關(guān)性。

由上可知，首先要估算文檔的語(yǔ)言模型，才能計(jì)算文檔與查詢語(yǔ)句之間的相關(guān)性。通常最簡(jiǎn)單計(jì)算方式的是使用最大似然估計(jì)法來(lái)估計(jì)文檔的語(yǔ)言模型，即其中count(w_i,d)表示單詞w_i在文檔d中出現(xiàn)的次數(shù)，分母是統(tǒng)計(jì)所有單詞w′在文檔d中出現(xiàn)次數(shù)之和，即文檔的單詞總數(shù)。但是這種方法存在兩個(gè)缺點(diǎn)：1)對(duì)于文檔中沒有出現(xiàn)的缺失詞，是沒有辦法估算它的概率；2)計(jì)算得到的單詞概率只反映了單詞文檔中的頻率信息，不能完全反映單詞與文檔的語(yǔ)義相關(guān)性。

針對(duì)上述缺點(diǎn)，學(xué)術(shù)界和工業(yè)界提出了很多平滑方法。大致可以分為三類：1)基于語(yǔ)料庫(kù)的平滑方法，這類方法首先根據(jù)語(yǔ)料庫(kù)中的所有文檔構(gòu)建語(yǔ)料庫(kù)語(yǔ)言模型，再通過插值或回退的方法，把原文檔語(yǔ)言模型和語(yǔ)料庫(kù)語(yǔ)言模型進(jìn)行相加，得到最后平滑后的語(yǔ)言模型；2)文檔擴(kuò)展技術(shù)(Document Expansion)，這類方法沒有顯式的對(duì)文檔進(jìn)行平滑，是隱式的向文檔中添加與文檔相關(guān)的文本信息來(lái)修正文檔語(yǔ)言模型，通常文檔相關(guān)信息來(lái)源有超鏈接、用戶歷史查詢語(yǔ)句和用戶批注三類；3)基于圖的平滑方法，這類方法通過文檔構(gòu)建單詞圖譜，利用類似于PageRank的算法來(lái)計(jì)算單詞的重要度，根據(jù)得到的單詞重要度來(lái)估算單詞的概率。

我們認(rèn)為一個(gè)準(zhǔn)確的語(yǔ)言模型應(yīng)該是與文檔主題相關(guān)，應(yīng)該是反映單詞在文檔主題的背景下的概率分布，應(yīng)該能夠通過概率反映單詞與文檔主題之間的相關(guān)性，進(jìn)而才能正確的反映查詢語(yǔ)句和文檔之間的相關(guān)性。

而上述現(xiàn)有的平滑方法中：第一類方法使用的是通用的語(yǔ)料庫(kù)語(yǔ)言模型，是文檔無(wú)關(guān)的，沒有考慮文檔中的任何語(yǔ)義信息，自然也不能很好的估計(jì)單詞與文檔主題的相關(guān)性；第二類方法提取文檔相關(guān)信息的方法不具有普遍性，不是所有的文檔都能搜集到相關(guān)信息，而且信息來(lái)源的質(zhì)量得不到保證；第三類方法也沒有直接衡量單詞與文檔主題的相關(guān)性，并且僅局限于文檔中的單詞，對(duì)于文檔缺失詞中的相關(guān)單詞無(wú)法進(jìn)行優(yōu)化。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)的缺陷，本發(fā)明的目的在于解決現(xiàn)有平滑方法使用的是通用的語(yǔ)料庫(kù)語(yǔ)言模型，是文檔無(wú)關(guān)的，沒有考慮文檔中的任何語(yǔ)義信息，自然也不能很好的估計(jì)單詞與文檔主題的相關(guān)性；且提取文檔相關(guān)信息的方法不具有普遍性，不是所有的文檔都能搜集到相關(guān)信息，而且信息來(lái)源的質(zhì)量得不到保證；以及沒有直接衡量單詞與文檔主題的相關(guān)性，并且僅局限于文檔中的單詞，對(duì)于文檔缺失詞中的相關(guān)單詞無(wú)法進(jìn)行優(yōu)化的技術(shù)問題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供一種基于實(shí)體知識(shí)庫(kù)的語(yǔ)言模型平滑方法，包括以下步驟：