[發(fā)明專利]一種面向文本的知識單元關(guān)聯(lián)關(guān)系挖掘方法

有效

• 申請?zhí)枺?/td>: 201110312882.1
• 申請日: 2011-10-15
• 公開（公告）號: CN102436480A
• 公開（公告）日: 2012-05-02
• 發(fā)明（設(shè)計(jì)）人: 劉均;鄭慶華;葉俊挺
• 申請（專利權(quán)）人: 西安交通大學(xué)
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 朱海臨

技術(shù)領(lǐng)域

本發(fā)明涉及一種網(wǎng)絡(luò)數(shù)據(jù)的檢索方法，特別涉及一種面向文本的知識單元關(guān)聯(lián)關(guān)系挖掘方法。

背景技術(shù)

隨著計(jì)算機(jī)網(wǎng)絡(luò)的迅速發(fā)展和日益普及，因特網(wǎng)上的信息以指數(shù)增長。信息時(shí)代帶來了海量的數(shù)字化文本，日益積累的數(shù)據(jù)使得信息的獲取越來越困難。人們的時(shí)間和精力是有限的，面對如此巨大的數(shù)字資源，無法從大量數(shù)據(jù)中迅速而準(zhǔn)確地找到有用的信息，因而需要自動化的抽取工具，來幫助人們檢索海量數(shù)據(jù)。申請人經(jīng)過查新，沒有找到面向文本的知識單元關(guān)聯(lián)關(guān)系挖掘方法的專利，因而檢索了三篇與關(guān)系挖掘相關(guān)的專利，它們分別是：

1.Relation?extraction?system[International?Publication?Number：WO2009/017464A1]；

2.Method?and?a?system?for?semantic?relation?extraction[Publication?Number：US?2009/0019032?A1]；

3.一種詞關(guān)系挖掘方法和裝置[申請公布號：CN?102129427?A]。

在專利1中，發(fā)明人提出一種將有監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)相結(jié)合的方法，抽取出文本間的關(guān)系，在專利2中，發(fā)明人提出一種基于概率統(tǒng)計(jì)模型抽取出兩個詞條間的語義關(guān)系，在專利3中，發(fā)明人提出一種通過計(jì)算候選關(guān)系、關(guān)系頻度以及詞條的詞頻計(jì)算互信息，根據(jù)互信息對關(guān)系進(jìn)行排序，將符合預(yù)設(shè)閾值的關(guān)系作為詞條關(guān)系輸出。上述三種相關(guān)專利發(fā)明所述方法都需要對所有可能的關(guān)系對進(jìn)行分類，存在計(jì)算量大、計(jì)算復(fù)雜度高的缺點(diǎn)。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種面向文本的知識單元關(guān)聯(lián)關(guān)系挖掘方法，通過挖掘文本間的關(guān)系、篩選候選知識單元對和知識單元特征抽取的方法，對文本中的知識單元關(guān)聯(lián)關(guān)系進(jìn)行挖掘，從而可以大大減少計(jì)算量，降低計(jì)算復(fù)雜度。所述知識單元是指具有完備知識表達(dá)的最小單元。所述知識單元關(guān)聯(lián)關(guān)系是指知識單元間內(nèi)在的語義關(guān)系。

為達(dá)到以上目的，本發(fā)明是采取如下技術(shù)方案予以實(shí)現(xiàn)的：

一種面向文本的知識單元關(guān)聯(lián)關(guān)系挖掘方法，包括如下步驟：

(1)文本關(guān)聯(lián)挖掘：對文本集合進(jìn)行聚類，找到具有相似主題的文本對，并利用核心術(shù)語分布的不對稱性，挖掘文本間的線性關(guān)聯(lián)關(guān)系；

(2)生成候選知識單元對：利用知識單元關(guān)聯(lián)關(guān)系的局部性，產(chǎn)生候選的知識單元對；

(3)特征選擇及知識單元關(guān)聯(lián)關(guān)系挖掘：基于知識單元對的術(shù)語詞頻、距離和語義類型特征，使用SVM分類器將候選的知識單元對進(jìn)行二值分類，挖掘知識單元間的關(guān)聯(lián)關(guān)系。

其中，步驟(1)所述挖掘文本間的線性關(guān)聯(lián)關(guān)系按照如下過程：

1)依據(jù)向量空間模型VSM，將文本轉(zhuǎn)換為對應(yīng)的術(shù)語向量；

2)根據(jù)歐式距離的定義，計(jì)算任意兩個術(shù)語向量之間的距離；

3)基于術(shù)語向量之間的距離，使用AGNES聚類方法對文本集合進(jìn)行聚類，在AGNES聚類過程中，以下三種情況生成文本對k＝(t_i，t_j)：

a.如果文本t_i與文本t_j的術(shù)語向量距離最小，將文本t_i和文本t_j合并為一個簇；

b.如果文本t_i與文本t_j的術(shù)語向量距離最小，且t_i屬于簇S中，將文本t_j放入簇S中；

c.如果文本t_i與文本t_j的術(shù)語向量距離最小，且t_i屬于簇S，t_j屬于簇S′，將簇S和簇S′合并為一個新的簇；

當(dāng)集合中只存在一個簇，且所有文本都在此簇中，則聚類過程結(jié)束；

4)在文本線性關(guān)聯(lián)關(guān)系已知的文本集合T中，文本t_m線性關(guān)聯(lián)于文本t_n，計(jì)算其術(shù)語分布特征值F(m，n)；

術(shù)語分布特征值F(m，n)的定義如下：