[發(fā)明專利]一種融入中文筆畫(huà)信息的新聞文本摘要生成的方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010970430.1
• 申請(qǐng)日: 2020-09-15
• 公開(kāi)（公告）號(hào): CN112115256A
• 公開(kāi)（公告）日: 2020-12-22
• 發(fā)明（設(shè)計(jì)）人: 周士華;顏靜;王賓;呂卉
• 申請(qǐng)（專利權(quán)）人: 大連大學(xué)
• 主分類(lèi)號(hào): G06F16/34
• 分類(lèi)號(hào): G06F16/34;G06F40/289;G06F40/284;G06F40/237;G06F40/216;G06F40/30;G06K9/62
• 代理公司: 大連東方專利代理有限責(zé)任公司 21212
• 代理人: 李馨

1.一種融入中文筆畫(huà)信息的新聞文本摘要生成的方法，其特征在于，包括：

獲取新聞文本數(shù)據(jù)，所述新聞文本數(shù)據(jù)包括新聞標(biāo)題與正文；

對(duì)所述新聞文本數(shù)據(jù)進(jìn)行預(yù)處理，得到所述新聞文本數(shù)據(jù)的分詞文本；

對(duì)所述分詞文本中的每個(gè)單詞進(jìn)行掃描得到該分詞文本的筆畫(huà)字典，將所述筆畫(huà)字典轉(zhuǎn)換為向量形式；

基于向量形式的筆畫(huà)字典，生成各單詞基于筆畫(huà)信息的嵌入，并根據(jù)各單詞基于筆畫(huà)信息的嵌入將句子表示成嵌入向量；

將所述嵌入向量表示為有向圖，并利用TextRank算法對(duì)所述有向圖進(jìn)行迭代，從而獲得各個(gè)句子的得分，根據(jù)各個(gè)句子的得分生成摘要輸出。

2.根據(jù)權(quán)利要求1所述的融入中文筆畫(huà)信息的新聞文本摘要生成的方法，其特征在于，對(duì)所述新聞文本數(shù)據(jù)進(jìn)行預(yù)處理，得到所述新聞文本數(shù)據(jù)的分詞文本，包括：

根據(jù)中文的標(biāo)點(diǎn)符號(hào)將所述新聞文本數(shù)據(jù)分為若干句子；

依次對(duì)每個(gè)句子進(jìn)行數(shù)據(jù)清洗，刪除重復(fù)數(shù)據(jù)與無(wú)效數(shù)據(jù)；

對(duì)清洗后的句子進(jìn)行分詞操作，將各單詞之間用頓號(hào)隔開(kāi)，從而得到新聞文本數(shù)據(jù)的分詞文本。

3.根據(jù)權(quán)利要求1所述的融入中文筆畫(huà)信息的新聞文本摘要生成的方法，其特征在于，基于向量形式的筆畫(huà)字典，生成各單詞基于筆畫(huà)信息的嵌入，包括：

基于所述向量形式的筆畫(huà)字典計(jì)算分詞文本中每一個(gè)單詞與上下文單詞之間的相似度；

基于所述相似度，通過(guò)當(dāng)前單詞對(duì)其上下文單詞進(jìn)行概率建模，通過(guò)模型生成單詞基于筆畫(huà)信息的嵌入。

4.一種融入中文筆畫(huà)信息的新聞文本摘要生成的裝置，其特征在于，包括：

獲取單元，用于獲取新聞文本數(shù)據(jù)，所述新聞文本數(shù)據(jù)包括新聞標(biāo)題與正文；

預(yù)處理單元，用于對(duì)所述新聞文本數(shù)據(jù)進(jìn)行預(yù)處理，得到所述新聞文本數(shù)據(jù)的分詞文本；

筆畫(huà)字典生成單元，用于對(duì)所述分詞文本中的每個(gè)單詞進(jìn)行掃描得到該分詞文本的筆畫(huà)字典，將所述筆畫(huà)字典轉(zhuǎn)換為向量形式；

嵌入向量生成單元，用于基于向量形式的筆畫(huà)字典，生成各單詞基于筆畫(huà)信息的嵌入，并根據(jù)各單詞基于筆畫(huà)信息的嵌入將句子表示成嵌入向量；

輸出單元，用于將所述嵌入向量表示為有向圖，并利用TextRank算法對(duì)所述有向圖進(jìn)行迭代，從而獲得各個(gè)句子的得分，根據(jù)各個(gè)句子的得分生成摘要輸出。

5.根據(jù)權(quán)利要求4所述的融入中文筆畫(huà)信息的新聞文本摘要生成的裝置，其特征在于，所述預(yù)處理單元包括：

分句模塊，用于根據(jù)中文的標(biāo)點(diǎn)符號(hào)將所述新聞文本數(shù)據(jù)分為若干句子；

清洗模塊，用于依次對(duì)每個(gè)句子進(jìn)行數(shù)據(jù)清洗，刪除重復(fù)數(shù)據(jù)與無(wú)效數(shù)據(jù)；

分詞模塊，用于對(duì)清洗后的句子進(jìn)行分詞操作，將各單詞之間用頓號(hào)隔開(kāi)，從而得到新聞文本數(shù)據(jù)的分詞文本。

6.根據(jù)權(quán)利要求4所述的融入中文筆畫(huà)信息的新聞文本摘要生成的方法，其特征在于，所述嵌入向量生成單元包括：

相似度計(jì)算模塊，用于基于所述向量形式的筆畫(huà)字典計(jì)算分詞文本中每一個(gè)單詞與上下文單詞之間的相似度；

嵌入生成模塊，用于基于所述相似度，通過(guò)當(dāng)前單詞對(duì)其上下文單詞進(jìn)行概率建模，通過(guò)模型生成單詞基于筆畫(huà)信息的嵌入。