[發(fā)明專利]一種基于數(shù)據(jù)重構(gòu)的文檔摘要提取方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201210293118.9
• 申請(qǐng)日: 2012-08-17
• 公開(kāi)（公告）號(hào): CN102841940A
• 公開(kāi)（公告）日: 2012-12-26
• 發(fā)明（設(shè)計(jì)）人: 陳純;卜佳俊;何占盈;王燦;李平
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué)
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G06F17/27
• 代理公司: 杭州天正專利事務(wù)所有限公司 33201
• 代理人: 王兵;黃美娟

技術(shù)領(lǐng)域

本發(fā)明涉及文檔摘要提取方法的技術(shù)領(lǐng)域，特別是基于數(shù)據(jù)重構(gòu)的文檔摘要提取方法。

背景技術(shù)

世界上約有盲人3000萬(wàn)人左右，中國(guó)約有500萬(wàn)盲人，占世界總數(shù)的18%，隨著互聯(lián)網(wǎng)的高度普及和互聯(lián)網(wǎng)在日常生活中重要性的不斷上升，如何幫助盲人從互聯(lián)網(wǎng)上迅速獲取信息將成為無(wú)障礙建設(shè)中的重要問(wèn)題。盲人由于無(wú)法通過(guò)視力接受信息，所以其獲取文本內(nèi)容的問(wèn)題特別突出，傳統(tǒng)盲人依靠讀屏軟件逐字了解網(wǎng)頁(yè)文字內(nèi)容的過(guò)程大大限制了其獲取網(wǎng)頁(yè)文本信息的速度。而且現(xiàn)在的網(wǎng)站內(nèi)容在越來(lái)越豐富的同時(shí)，也包含了越來(lái)越多的冗余信息。面對(duì)文本信息量如此龐大的互聯(lián)網(wǎng)，為盲人提供一種文檔摘要提取方法，將文檔信息精煉成既包含文檔中心思想又包含最少冗余信息的摘要形式顯得尤為重要。

目前已有的文檔摘要工作基本從句子排序入手，然后逐個(gè)選取得分最高的句子，最后組成摘要。這類方法很難在包含文檔中心思想的同時(shí)，保證摘要結(jié)果包含最少冗余信息。因此，我們提出了一種基于數(shù)據(jù)重構(gòu)的文檔摘要提取方法，從數(shù)據(jù)重構(gòu)的角度入手，保證摘要句子利用重構(gòu)過(guò)程中能夠包含目標(biāo)文檔的中心思想，同時(shí)通過(guò)求解最優(yōu)摘要句子的過(guò)程保證最后摘要結(jié)果包含最少的冗余信息。

發(fā)明內(nèi)容

為了克服現(xiàn)有文檔摘錄方法無(wú)法在包含文檔中心思想時(shí)去除摘錄結(jié)果中的冗余信息，本發(fā)明提出了一種基于數(shù)據(jù)重構(gòu)的文檔摘要提取方法，幫助用戶能夠快速鎖定多個(gè)文檔中感興趣的某一個(gè)文檔，以提高獲取互聯(lián)網(wǎng)文本信息的體驗(yàn)度，：

1、本發(fā)明所述的一種基于數(shù)據(jù)重構(gòu)的文檔摘要提取方法

包括以下步驟：

1）從文檔數(shù)據(jù)庫(kù)中獲取文檔，作為待提取摘要的目標(biāo)文檔；

2）針對(duì)每個(gè)目標(biāo)文檔，提取該文檔中的每一個(gè)句子，作為該文檔摘要的備選句子庫(kù)；

3）統(tǒng)計(jì)所有關(guān)鍵詞在所有文檔中的權(quán)重信息，并以此將備選句子庫(kù)中的每個(gè)句子表示成一個(gè)向量；

4）利用數(shù)據(jù)重構(gòu)算法，從備選句子庫(kù)中挑選出既包含文檔中心思想又包含最少冗余信息的最優(yōu)摘要句子；

5）將挑選的句子提取出來(lái)，組成該目標(biāo)文檔的摘要。

2、步驟3）中所述的關(guān)鍵詞在所有文檔中的權(quán)重信息，并以此將備選句子庫(kù)中的每個(gè)句子表示成一個(gè)向量：

1）若第i個(gè)關(guān)鍵詞在目標(biāo)文檔的第j個(gè)句子中出現(xiàn)，其在所有文檔中的權(quán)重信息為它的TF-IDF值，即dij=numj(i)total(words)·log(total(documents)documents(i)),]]>其中num_j(i)為在目標(biāo)文檔的第j個(gè)句子中，第i個(gè)關(guān)鍵詞的個(gè)數(shù)，total（words）為目標(biāo)文檔的第j個(gè)句子包含的單詞的總數(shù)，total（documents）為文檔的總數(shù)，documents（i）為含有第i個(gè)關(guān)鍵詞的文檔的數(shù)目；