[發(fā)明專利]基于知識網(wǎng)絡(luò)的文本標(biāo)引系統(tǒng)及其方法

有效

• 申請?zhí)枺?/td>: 201010168526.2
• 申請日: 2010-05-11
• 公開（公告）號: CN102207945A
• 公開（公告）日: 2011-10-05
• 發(fā)明（設(shè)計(jì)）人: 張偉偉;張旭成;孫威;宋傳寶;陶鵬
• 申請（專利權(quán)）人: 天津海量信息技術(shù)有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京汲智翼成知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11381
• 代理人: 陳曦

技術(shù)領(lǐng)域

本發(fā)明涉及一種實(shí)現(xiàn)文本標(biāo)引的系統(tǒng)及其方法，尤其涉及一種在文本信息處理的過程中，基于知識網(wǎng)絡(luò)(Knowledge?Network)實(shí)現(xiàn)的文本標(biāo)引系統(tǒng)及文本標(biāo)引方法，屬于文本信息處理技術(shù)領(lǐng)域。

背景技術(shù)

文本是最基本、最常用的信息載體。隨著互聯(lián)網(wǎng)的日益普及，文本信息迅速膨脹。例如，在Internet上每天有數(shù)十萬的網(wǎng)頁更新，數(shù)百萬新的網(wǎng)頁加入，使得Internet上的信息豐富而又復(fù)雜。如何有效地組織和管理這些信息，并快速、準(zhǔn)確、全面地從中找到用戶所需要的信息是當(dāng)前文本信息處理領(lǐng)域面臨的一大挑戰(zhàn)。

在文本信息處理工作中，文本的內(nèi)容詞提取、類別標(biāo)注和短語(phrase)的提取(統(tǒng)稱為文本標(biāo)引)一直是有關(guān)科研人員進(jìn)行研究的一個(gè)主要問題。如何系統(tǒng)地整合這些功能在一個(gè)文本標(biāo)引框架下，并能持續(xù)互相改進(jìn)，將是一個(gè)非常有意義的工作。

在申請?zhí)枮?00710000966.5的中國發(fā)明專利申請中，提出了一種相關(guān)信息的發(fā)布方法和裝置。該方法包括以下步驟：收集互聯(lián)網(wǎng)中符合預(yù)置條件的網(wǎng)絡(luò)文本；計(jì)算得到網(wǎng)絡(luò)文本相應(yīng)的文本特征參數(shù)；比對特征參數(shù)，依次完成網(wǎng)絡(luò)文本的歸類；發(fā)布相應(yīng)的相關(guān)信息。該方法能夠在用戶不關(guān)心當(dāng)前瀏覽文本關(guān)鍵詞的情況下，發(fā)布最準(zhǔn)確的相關(guān)信息，以及能夠準(zhǔn)確的將相關(guān)信息發(fā)布至終端用戶的虛擬空間，以滿足互聯(lián)網(wǎng)相關(guān)信息發(fā)布的發(fā)展需要。

另外，在申請?zhí)枮?00810079685.8的中國發(fā)明專利申請中，提出了一種基于數(shù)據(jù)挖掘技術(shù)的文本多精度表示方法。它利用數(shù)據(jù)挖掘技術(shù)從海量文本中發(fā)現(xiàn)重要的文本特征信息，這些特征信息是多層次、多精度的。利用這些特征形成文本的精確表示，計(jì)算機(jī)基于這種精確的文本表示進(jìn)行文本檢索、聚類和分類等處理，能產(chǎn)生更佳的效果。

互聯(lián)網(wǎng)搜索引擎是文本信息處理技術(shù)的具體應(yīng)用之一。但是，現(xiàn)有的互聯(lián)網(wǎng)搜索引擎普遍采用基于關(guān)鍵詞的索引機(jī)制，很容易將籃球的火箭隊(duì)與火箭發(fā)動機(jī)混為一談，嚴(yán)重影響用戶檢索時(shí)獲取所需要的知識的效率。目前，人們利用知識網(wǎng)絡(luò)來研究人及企業(yè)間的知識傳播、合作及創(chuàng)新行為，表示各類知識資源，分析個(gè)人及組織知識體系的結(jié)構(gòu)、組成等，但沒有在文本標(biāo)引技術(shù)中使用知識網(wǎng)絡(luò)的成熟技術(shù)方案。雖然在專利號為ZL?200510050198.5的中國發(fā)明專利中，浙江大學(xué)的研究人員提出了一種基于鏈接分析的個(gè)性化搜索引擎方法，是通過建立知識網(wǎng)絡(luò)模型描述用戶興趣，建立多態(tài)鏈接網(wǎng)絡(luò)記錄網(wǎng)絡(luò)節(jié)點(diǎn)之間鏈接的不同類別，進(jìn)而在此基礎(chǔ)上展開鏈接分析得到搜索結(jié)果。但是，該個(gè)性化搜索引擎方法建立在多態(tài)鏈接網(wǎng)絡(luò)基礎(chǔ)上，適用面有限，不能在文本標(biāo)引技術(shù)中得到有效使用。

發(fā)明內(nèi)容

本發(fā)明所要解決的首要技術(shù)問題在于提供一種基于知識網(wǎng)絡(luò)的文本標(biāo)引系統(tǒng)。該系統(tǒng)可以在一個(gè)統(tǒng)一平臺下，提供若干種不同的維度索引，有效解決現(xiàn)有文本標(biāo)引技術(shù)準(zhǔn)確率低的問題。

本發(fā)明所要解決的另外一個(gè)技術(shù)問題在于提供上述文本標(biāo)引系統(tǒng)進(jìn)行文本標(biāo)引的具體方法。

為實(shí)現(xiàn)上述的發(fā)明目的，本發(fā)明采用下述的技術(shù)方案：

一種基于知識網(wǎng)絡(luò)的文本標(biāo)引系統(tǒng)，其特征在于：

所述文本標(biāo)引系統(tǒng)包括單文本特征提取單元、多文本詞關(guān)系提取單元、知識樹生成單元、知識樹應(yīng)用單元以及知識庫存儲單元；其中，

所述單文本特征提取單元接收非結(jié)構(gòu)化的文檔，提取文檔中的內(nèi)容關(guān)鍵詞并送入所述多文本詞關(guān)系提取單元；

所述多文本詞關(guān)系提取單元與所述知識樹生成單元中的知識樹操作模型進(jìn)行連接，用于完成多文本詞之間的關(guān)系提取以及聚類工作；

所述知識樹生成單元包括網(wǎng)頁結(jié)構(gòu)化信息模塊、知識樹初始化模塊、屬性存儲模塊、知識樹存儲模塊、知識樹操作模型和知識樹運(yùn)營平臺，所述網(wǎng)頁結(jié)構(gòu)化信息模塊連接所述知識樹初始化模塊，所述知識樹初始化模塊連接所述知識樹存儲模塊，所述屬性存儲模塊也連接所述知識樹存儲模塊，所述知識樹存儲模塊和所述知識樹運(yùn)營平臺分別與所述知識樹操作模型進(jìn)行雙向的信息交互；

所述知識庫存儲單元分別與所述知識樹操作模型和所述單文本特征提取單元進(jìn)行連接，用于提供分類用知識庫，所述知識樹存儲模塊將相關(guān)的應(yīng)用導(dǎo)出至所述知識樹應(yīng)用單元。

其中，所述多文本詞關(guān)系提取單元包括針對語義網(wǎng)絡(luò)的關(guān)系挖掘模塊、詞間網(wǎng)絡(luò)關(guān)系數(shù)據(jù)模塊和詞與TAG間關(guān)系數(shù)據(jù)模塊，其中該關(guān)系挖掘模塊一方面連接所述單文本特征提取單元中的關(guān)鍵詞提取模塊，另一方面分別連接詞間網(wǎng)絡(luò)關(guān)系數(shù)據(jù)模塊和詞與TAG間關(guān)系數(shù)據(jù)模塊。

所述知識樹操作模型分別與所述多文本詞關(guān)系提取單元中的詞間網(wǎng)絡(luò)關(guān)系數(shù)據(jù)模塊和詞與TAG間關(guān)系數(shù)據(jù)模塊進(jìn)行連接。