[發(fā)明專利]一種新聞標(biāo)題自動(dòng)生成方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010073302.7
• 申請(qǐng)日: 2020-01-22
• 公開（公告）號(hào): CN111241816B
• 公開（公告）日: 2023-10-27
• 發(fā)明（設(shè)計(jì)）人: 羅成;蔣宗禮
• 申請(qǐng)（專利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類號(hào): G06F40/258
• 分類號(hào): G06F40/258;G06F16/951;G06N3/0442;G06N3/08
• 代理公司: 北京思海天達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11203
• 代理人: 吳蔭芳

1.一種新聞標(biāo)題自動(dòng)生成方法，其特征在于，包括以下步驟：

(1)：獲取新聞文本數(shù)據(jù)，對(duì)新聞文本數(shù)據(jù)處理并劃分?jǐn)?shù)據(jù)集；

(2)：對(duì)新聞文本數(shù)據(jù)進(jìn)行預(yù)處理，生成詞向量詞典；

(3)：構(gòu)建編-解碼網(wǎng)絡(luò)，其中編碼器網(wǎng)絡(luò)使用雙向GRU遞歸神經(jīng)網(wǎng)絡(luò)對(duì)預(yù)處理后的新聞文本數(shù)據(jù)進(jìn)行編碼；解碼網(wǎng)絡(luò)利用GRU網(wǎng)絡(luò)加注意力機(jī)制對(duì)編碼進(jìn)行解碼；

(4)：利用融合方法對(duì)編-解碼網(wǎng)絡(luò)進(jìn)行訓(xùn)練，把待分析新聞數(shù)據(jù)輸入訓(xùn)練完成的編-解碼網(wǎng)絡(luò)，根據(jù)詞匯表和此時(shí)的單詞概率分布生成新聞標(biāo)題。

2.根據(jù)權(quán)利要求1所述的一種新聞標(biāo)題自動(dòng)生成方法，其特征在于，所述步驟(1)包括：

(1.1)：從新聞網(wǎng)站上爬取新聞數(shù)據(jù)；

(1.2)：只保留新聞文本數(shù)據(jù)；

(1.3)：選取新聞文本數(shù)據(jù)第一段和第二段作為article，如果內(nèi)容超過預(yù)選取的長(zhǎng)度S，則進(jìn)行截?cái)嗵幚恚绻L(zhǎng)度不夠S，那么就進(jìn)行0填充；

(1.4)：選取新聞網(wǎng)頁標(biāo)簽中的摘要部分作為title，如果該新聞文網(wǎng)頁標(biāo)簽中沒有摘要，則將從該新聞文本數(shù)據(jù)的article中抽取第一條作為title；

(1.5)：對(duì)新聞數(shù)據(jù)進(jìn)行劃分?jǐn)?shù)據(jù)集操作，按照9：1的比例分別對(duì)title和article對(duì)應(yīng)劃分為訓(xùn)練集和測(cè)試集。

3.根據(jù)權(quán)利要求1所述的一種新聞標(biāo)題自動(dòng)生成方法，其特征在于，所述步驟(2)進(jìn)一步包括：

對(duì)數(shù)據(jù)集使用分詞工具進(jìn)行分詞，去除停用詞，使用word2vec工具對(duì)數(shù)據(jù)進(jìn)行詞向量化生成詞表。

4.根據(jù)權(quán)利要求1所述的一種新聞標(biāo)題自動(dòng)生成方法，其特征在于，所述步驟(3)使用雙向GRU遞歸神經(jīng)網(wǎng)絡(luò)對(duì)預(yù)處理后的新聞文本數(shù)據(jù)進(jìn)行編碼：

(3.1)編碼器模型如下所示：

r_t＝σ(w_r[h_t-1,x_t]+b_r) (1)

z_t＝σ(w_z[h_t-1,x_t]+b_z) (2)

其中z_t表示更新門、r_t表示重置門、h_t表示輸出門、表示候選狀態(tài)，h_t-1表示前一時(shí)間步t-1的隱藏狀態(tài)，x_t表示經(jīng)過步驟2處理后的文本數(shù)據(jù)，σ表示激活函數(shù)sigmoid，tanh表示激活函數(shù),表示權(quán)重參數(shù)矩陣，表示偏差系數(shù)。

(3.2)編碼器采用雙向結(jié)構(gòu)編碼，句子經(jīng)過步驟2轉(zhuǎn)換成詞向量的形式輸入編碼器，由前向后的GRU網(wǎng)絡(luò)順序讀句子中的每一個(gè)詞，得到前向隱藏狀態(tài)序列從后向前的GRU網(wǎng)絡(luò)倒序讀句中的每一個(gè)詞，得后向隱藏狀態(tài)序列把前向網(wǎng)絡(luò)和后向網(wǎng)絡(luò)各自的最后一個(gè)隱藏狀態(tài)連接，作為編碼器最終編碼輸出表示S，把編碼器得到的編碼表示S傳遞給解碼器進(jìn)行解碼，其中S表示如下：

其中n表示句子長(zhǎng)度，表示向前序列最后的一個(gè)隱藏狀態(tài)，表示后向序列最后的一個(gè)隱藏狀態(tài)，表示連接操作。

(3.3)將前向和后向結(jié)構(gòu)的隱藏狀態(tài)向量相連接，連接得到的向量作為雙向編碼器的隱藏狀態(tài)序列H＝(h₁,h₂,···h_n)，雙向編碼器隱藏狀態(tài)序列(h₁,h₂,···h_n)在解碼器中計(jì)算上下文向量c_t的時(shí)候使用，具體計(jì)算如下：