[發(fā)明專利]一種文本核心內(nèi)容提取方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010575748.X
• 申請(qǐng)日: 2020-06-22
• 公開（公告）號(hào): CN111767393A
• 公開（公告）日: 2020-10-13
• 發(fā)明（設(shè)計(jì)）人: 楊雷;李昱;王全禮;陳飛;唐匯
• 申請(qǐng)（專利權(quán)）人: 中國(guó)建設(shè)銀行股份有限公司;建信金融科技有限責(zé)任公司
• 主分類號(hào): G06F16/34
• 分類號(hào): G06F16/34;G06F16/31
• 代理公司: 北京三友知識(shí)產(chǎn)權(quán)代理有限公司 11127
• 代理人: 王濤;湯在彥

一種文本核心內(nèi)容提取方法及裝置，所述方法包括：獲取待處理文本并提取所述待處理文本中的關(guān)鍵詞；將所述待處理文本中的各段落劃分為多個(gè)主題；根據(jù)所述主題中各句子對(duì)應(yīng)的指標(biāo)參數(shù)分別提取各所述主題的核心句子，其中，所述指標(biāo)參數(shù)包括：各句子在所述待處理文本的位置、各句子的詞頻總數(shù)占所在主題詞頻總數(shù)的比重、各句子的設(shè)定詞匯的數(shù)量及各句子包含的關(guān)鍵詞的頻次；將所述核心句子按照預(yù)設(shè)的組合策略進(jìn)行組合，形成摘要文本。本申請(qǐng)?zhí)峁┑奈谋竞诵膬?nèi)容提取方法及裝置，采用多維度的綜合評(píng)價(jià)策略，能夠根據(jù)文本中的不同主題，對(duì)文本核心內(nèi)容進(jìn)行有代表性的提取，全面客觀地反映文本內(nèi)容。

技術(shù)領(lǐng)域

本申請(qǐng)涉及自然語言處理技術(shù)領(lǐng)域，具體的是一種文本核心內(nèi)容提取方法及裝置。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)的蓬勃發(fā)展，各種信息資源越發(fā)豐富，文本數(shù)量越發(fā)龐大，呈待提供一種能夠進(jìn)行自然語言處理，提取文本核心內(nèi)容的方法。文本核心內(nèi)容提取是實(shí)現(xiàn)客戶交互、建設(shè)資訊系統(tǒng)、進(jìn)行知識(shí)管理等的一個(gè)核心功能。文本核心內(nèi)容提取可用于對(duì)文本內(nèi)容進(jìn)行壓縮，進(jìn)行高效集中展示等場(chǎng)景。

在現(xiàn)有文本核心內(nèi)容提取的相關(guān)技術(shù)中，關(guān)鍵字的提取不能做到在全文中均勻散布，據(jù)此所生成的文本核心內(nèi)容有失平衡性，不能準(zhǔn)確代表文本的核心思想。另有現(xiàn)有技術(shù)應(yīng)用句法結(jié)構(gòu)分析，生成知識(shí)網(wǎng)絡(luò)的方法對(duì)文本核心內(nèi)容進(jìn)行提取，據(jù)此生成文本摘要。但句法結(jié)構(gòu)分析具有特定性，普適性差，對(duì)文本核心內(nèi)容的提取存在片面性；另外利用知識(shí)網(wǎng)絡(luò)對(duì)文本進(jìn)行分析，缺乏有效的評(píng)判手段，不能準(zhǔn)確地提取出文本的核心內(nèi)容。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中的問題，本申請(qǐng)?zhí)峁┮环N文本核心內(nèi)容提取方法及裝置，能夠?qū)ξ谋竞诵膬?nèi)容進(jìn)行有代表性的提取，全面客觀地反映文本內(nèi)容。

為了解決上述問題中的至少一個(gè)，本申請(qǐng)?zhí)峁┮韵录夹g(shù)方案：

第一方面，本申請(qǐng)?zhí)峁┮环N文本核心內(nèi)容提取方法，包括：

獲取待處理文本并提取所述待處理文本中的關(guān)鍵詞；

將所述待處理文本中的各段落劃分為多個(gè)主題；

根據(jù)所述主題中各句子對(duì)應(yīng)的指標(biāo)參數(shù)分別提取各所述主題的核心句子，其中，所述指標(biāo)參數(shù)包括：各句子在所述待處理文本的位置、各句子的詞頻總數(shù)占所在主題詞頻總數(shù)的比重、各句子的設(shè)定詞匯的數(shù)量及各句子包含的關(guān)鍵詞的頻次；

將所述核心句子按照預(yù)設(shè)的組合策略進(jìn)行組合，形成摘要文本。

進(jìn)一步地，所述獲取待處理文本并提取所述待處理文本中的關(guān)鍵詞，包括：

對(duì)所述待處理文本進(jìn)行句子分割，得到全文句子列表；

對(duì)所述全文句子列表進(jìn)行分詞得到全文詞匯，對(duì)所述全文詞匯進(jìn)行共現(xiàn)指標(biāo)統(tǒng)計(jì)和詞頻統(tǒng)計(jì)，得到共現(xiàn)指標(biāo)數(shù)據(jù)集及詞頻統(tǒng)計(jì)數(shù)據(jù)集；

根據(jù)所述共現(xiàn)指標(biāo)數(shù)據(jù)集及詞頻統(tǒng)計(jì)數(shù)據(jù)集從所述全文詞匯中篩選出候選詞匯；

將所述候選詞匯輸入至預(yù)先創(chuàng)建的詞匯領(lǐng)域傾向性判斷模型，得到所述關(guān)鍵詞。

進(jìn)一步地，在對(duì)所述全文句子列表進(jìn)行分詞得到全文詞匯之后，包括：對(duì)分詞得到的全文詞匯進(jìn)行詞性標(biāo)注及停用詞和虛詞過濾。

進(jìn)一步地，所述根據(jù)所述共現(xiàn)指標(biāo)數(shù)據(jù)集及詞頻統(tǒng)計(jì)數(shù)據(jù)集從所述全文詞匯中篩選出候選詞匯，包括：

根據(jù)所述共現(xiàn)指標(biāo)數(shù)據(jù)集及詞頻統(tǒng)計(jì)數(shù)據(jù)集計(jì)算所述全文詞匯中各詞匯的評(píng)分；

根據(jù)所述評(píng)分及句子候選詞匯數(shù)量閾值篩選出所述候選詞匯。

進(jìn)一步地，將所述待處理文本中的各段落劃分為多個(gè)主題，包括：

根據(jù)段落尾部標(biāo)志將所述待處理文本進(jìn)行段落劃分，得到段落列表；