[發(fā)明專利]一種文本核心內(nèi)容提取方法及裝置

在審

• 申請?zhí)枺?/td>: 202010575748.X
• 申請日: 2020-06-22
• 公開（公告）號(hào): CN111767393A
• 公開（公告）日: 2020-10-13
• 發(fā)明（設(shè)計(jì)）人: 楊雷;李昱;王全禮;陳飛;唐匯
• 申請（專利權(quán)）人: 中國建設(shè)銀行股份有限公司;建信金融科技有限責(zé)任公司
• 主分類號(hào): G06F16/34
• 分類號(hào): G06F16/34;G06F16/31
• 代理公司: 北京三友知識(shí)產(chǎn)權(quán)代理有限公司 11127
• 代理人: 王濤;湯在彥

1.一種文本核心內(nèi)容提取方法，其特征在于，包括：

獲取待處理文本并提取所述待處理文本中的關(guān)鍵詞；

將所述待處理文本中的各段落劃分為多個(gè)主題；

根據(jù)所述主題中各句子對應(yīng)的指標(biāo)參數(shù)分別提取各所述主題的核心句子，其中，所述指標(biāo)參數(shù)包括：各句子在所述待處理文本的位置、各句子的詞頻總數(shù)占所在主題詞頻總數(shù)的比重、各句子的設(shè)定詞匯的數(shù)量及各句子包含的關(guān)鍵詞的頻次；

將所述核心句子按照預(yù)設(shè)的組合策略進(jìn)行組合，形成摘要文本。

2.根據(jù)權(quán)利要求1所述的文本核心內(nèi)容提取方法，其特征在于，所述獲取待處理文本并提取所述待處理文本中的關(guān)鍵詞，包括：

對所述待處理文本進(jìn)行句子分割，得到全文句子列表；

對所述全文句子列表進(jìn)行分詞得到全文詞匯，對所述全文詞匯進(jìn)行共現(xiàn)指標(biāo)統(tǒng)計(jì)和詞頻統(tǒng)計(jì)，得到共現(xiàn)指標(biāo)數(shù)據(jù)集及詞頻統(tǒng)計(jì)數(shù)據(jù)集；

根據(jù)所述共現(xiàn)指標(biāo)數(shù)據(jù)集及詞頻統(tǒng)計(jì)數(shù)據(jù)集從所述全文詞匯中篩選出候選詞匯；

將所述候選詞匯輸入至預(yù)先創(chuàng)建的詞匯領(lǐng)域傾向性判斷模型，得到所述關(guān)鍵詞。

3.根據(jù)權(quán)利要求2所述的文本核心內(nèi)容提取方法，其特征在于，在對所述全文句子列表進(jìn)行分詞得到全文詞匯之后，包括：對分詞得到的全文詞匯進(jìn)行詞性標(biāo)注及停用詞和虛詞過濾。

4.根據(jù)權(quán)利要求2所述的文本核心內(nèi)容提取方法，其特征在于，所述根據(jù)所述共現(xiàn)指標(biāo)數(shù)據(jù)集及詞頻統(tǒng)計(jì)數(shù)據(jù)集從所述全文詞匯中篩選出候選詞匯，包括：

根據(jù)所述共現(xiàn)指標(biāo)數(shù)據(jù)集及詞頻統(tǒng)計(jì)數(shù)據(jù)集計(jì)算所述全文詞匯中各詞匯的評(píng)分；

根據(jù)所述評(píng)分及候選詞匯數(shù)量閾值篩選出所述候選詞匯。

5.根據(jù)權(quán)利要求1所述的文本核心內(nèi)容提取方法，其特征在于，將所述待處理文本中的各段落劃分為多個(gè)主題，包括：

根據(jù)段落尾部標(biāo)志將所述待處理文本進(jìn)行段落劃分，得到段落列表；

根據(jù)所述段落列表中各相鄰段落的相似度對各段落進(jìn)行主題劃分，得到多個(gè)主題。

6.根據(jù)權(quán)利要求5所述的文本核心內(nèi)容提取方法，其特征在于，還包括：對所述段落列表中的各段落進(jìn)行預(yù)處理，得到預(yù)處理后的段落列表。

7.根據(jù)權(quán)利要求5所述的文本核心內(nèi)容提取方法，其特征在于，所述根據(jù)所述段落列表中各相鄰段落的相似度對各段落進(jìn)行主題劃分，得到多個(gè)主題，包括：

對所述段落列表中各段落進(jìn)行分詞處理，并計(jì)算所述各相鄰段落的相似度；

將所述相似度大于預(yù)設(shè)閾值的所述相鄰段落劃分入相同主題，得到所述待處理文本對應(yīng)的多個(gè)主題。

8.根據(jù)權(quán)利要求2所述的文本核心內(nèi)容提取方法，其特征在于，所述根據(jù)所述主題中各句子對應(yīng)的指標(biāo)參數(shù)分別提取各所述主題的核心句子，其中，所述指標(biāo)參數(shù)包括：各句子在所述待處理文本的位置、各句子的詞頻總數(shù)占所在主題詞頻總數(shù)的比重、各句子的設(shè)定詞匯的數(shù)量及各句子包含的關(guān)鍵詞的頻次，包括：

對所述全文句子列表中的各句子進(jìn)行順序標(biāo)號(hào)，并根據(jù)所述順序標(biāo)號(hào)計(jì)算所述主題中各句子的位置；

統(tǒng)計(jì)所述主題中各句子所含的設(shè)定詞匯的數(shù)量、關(guān)鍵詞的頻次及詞頻總數(shù)占所在主題詞頻總數(shù)的比重；

對所述主題中各句子的各指標(biāo)參數(shù)進(jìn)行歸一化處理；

根據(jù)歸一化處理結(jié)果及各指標(biāo)參數(shù)權(quán)重計(jì)算所述主題中各句子的得分，對所述主題中各句子按照得分進(jìn)行排序；

根據(jù)預(yù)設(shè)的摘要文本長度閾值、所述待處理文本的長度及所述主題的內(nèi)容長度計(jì)算所述主題的內(nèi)容長度閾值；

根據(jù)所述主題的內(nèi)容長度閾值按照從高到低的順序?qū)ε判蚝蟮母髦黝}進(jìn)行句子截取，得到各所述主題的核心句子。

9.根據(jù)權(quán)利要求8所述的文本核心內(nèi)容提取方法，其特征在于，所述根據(jù)預(yù)設(shè)的摘要文本長度閾值、所述待處理文本的長度及所述主題的內(nèi)容長度計(jì)算所述主題的內(nèi)容長度閾值，包括：

根據(jù)所述預(yù)設(shè)的摘要文本長度閾值及所述待處理文本的長度計(jì)算所述待處理文本的壓縮率；

根據(jù)所述壓縮率及所述主題的內(nèi)容長度計(jì)算所述主題的內(nèi)容長度閾值。