[發(fā)明專利]一種基于文本的新聞重要性評估方法、裝置及電子設(shè)備

有效

• 申請?zhí)枺?/td>: 202010918807.9
• 申請日: 2020-09-04
• 公開（公告）號: CN112016294B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 張慶全;陳和;陸文茜
• 申請（專利權(quán)）人: 上海智芝全智能科技有限公司
• 主分類號: G06F40/205
• 分類號: G06F40/205;G06F40/242;G06F40/295;G06N3/08
• 代理公司: 上海諾衣知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 31298
• 代理人: 衣然

本發(fā)明涉及一種基于文本的新聞重要性評估方法、裝置及電子設(shè)備，所述方法，包括：讀取文本新聞；對所述文本新聞進(jìn)行預(yù)處理得到原始數(shù)據(jù)；對所述原始數(shù)據(jù)進(jìn)行特征值提取，所述特征值包括元數(shù)據(jù)、關(guān)鍵詞、概率模型特征值；根據(jù)各個(gè)所述特征值對應(yīng)的權(quán)重配比得到各個(gè)所述特征值的分?jǐn)?shù)；所述裝置，包括：文本新聞讀取模塊、文本新聞預(yù)處理模塊、特征值提取模塊、特征值權(quán)重確定模塊、文本新聞重要性評估模塊。所述電子設(shè)備，包括：存儲器、處理器，存儲器中存儲有可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)前述基于文本的新聞重要性評估方法。本發(fā)明極大提高了新聞重要性評估的效率和精度，實(shí)現(xiàn)了對文本新聞的實(shí)時(shí)動態(tài)評估。

技術(shù)領(lǐng)域

本發(fā)明涉及新聞價(jià)值評估技術(shù)領(lǐng)域，特別是涉及一種基于文本的新聞重要性評估方法、裝置及電子設(shè)備。

背景技術(shù)

隨著網(wǎng)絡(luò)技術(shù)的發(fā)展和新媒體的廣泛應(yīng)用，各類新聞的產(chǎn)生和發(fā)布數(shù)量大大增加，如何“砂里淘金”，選擇價(jià)值更高的新聞顯得尤為重要。

現(xiàn)有的新聞價(jià)值評估技術(shù)更多關(guān)注泛領(lǐng)域的新聞，根據(jù)用戶關(guān)注度的變化計(jì)算出不同新聞價(jià)值特征項(xiàng)對預(yù)測新聞價(jià)值的影響，從而完成重要性新聞價(jià)值特征項(xiàng)的測算。傳統(tǒng)新聞價(jià)值評估方法更多體現(xiàn)的是普適性的重要性評測，且對新聞來源與社交媒體上的用戶進(jìn)行無差別的評估，不僅不能直接用于單一領(lǐng)域類新聞文本重要性的預(yù)測和評估，同時(shí)還嚴(yán)重制約了各行業(yè)數(shù)據(jù)、政策信息的有效傳播。

因此，如何更加精準(zhǔn)、高效地對單一領(lǐng)域新聞文本進(jìn)行重要性評估，成為了新聞價(jià)值評估技術(shù)領(lǐng)域亟待解決的重要問題。

發(fā)明內(nèi)容

為了克服上述技術(shù)問題，本發(fā)明提供了一種基于文本的新聞重要性評估方法、裝置及電子設(shè)備，極大提高了對單一領(lǐng)域類新聞文本重要性進(jìn)行預(yù)測評估的效率和精度。

為實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案如下：

基于本發(fā)明的一個(gè)方面，提供了一種基于文本的新聞重要性評估方法，所述方法包括：

讀取文本新聞；

對所述文本新聞進(jìn)行預(yù)處理得到原始數(shù)據(jù)；

對所述原始數(shù)據(jù)進(jìn)行特征值提取，所述特征值包括元數(shù)據(jù)、關(guān)鍵詞、概率模型特征值；

根據(jù)各個(gè)所述特征值對應(yīng)的權(quán)重配比得到各個(gè)所述特征值的分?jǐn)?shù)；

根據(jù)各個(gè)所述特征值的分?jǐn)?shù)評估所述文本新聞的重要性。

優(yōu)選地，所述文本新聞包括txt或pdf格式的新聞文本。

優(yōu)選地，所述預(yù)處理包括但不限于將字符序列轉(zhuǎn)換為小寫字符、選用長度在一定范圍之間的單詞、刪除非法字符、刪除數(shù)字、刪除停用詞、詞干提取和詞性還原。

優(yōu)選地，根據(jù)所述特征值類型的不同要選用不同的預(yù)處理方式：

當(dāng)所述特征值類型為元數(shù)據(jù)時(shí)，選用所述刪除非法字符和/或所述刪除停用詞方式對所述文本新聞進(jìn)行預(yù)處理；

當(dāng)所述特征值類型為關(guān)鍵詞時(shí)，選用所述刪除非法字符和/或所述刪除停用詞和/或刪除數(shù)字方式對所述文本新聞進(jìn)行預(yù)處理；

當(dāng)所述特征值類型為概率模型特征值時(shí)，選用所述刪除非法字符和/或所述刪除停用詞和/或刪除數(shù)字和/或詞干提取和詞性還原方式對所述文本新聞進(jìn)行預(yù)處理。

優(yōu)選地，對所述關(guān)鍵詞的提取，包括如下步驟：

S1:構(gòu)建多元詞典：

篩選金融行業(yè)關(guān)鍵詞組成靜態(tài)詞典；

通過自然語言處理和神經(jīng)網(wǎng)絡(luò)訓(xùn)練動態(tài)獲取訓(xùn)練集關(guān)鍵詞組成動態(tài)詞典；

所述訓(xùn)練集關(guān)鍵詞與所述金融行業(yè)關(guān)鍵詞互不重疊；