[發(fā)明專利]頭版新聞預(yù)測分類方法

有效

• 申請?zhí)枺?/td>: 202010845229.0
• 申請日: 2020-08-20
• 公開（公告）號: CN112100372B
• 公開（公告）日: 2022-08-30
• 發(fā)明（設(shè)計）人: 曹開臣;戴禮燦;孫文;陳明仁;蔡世民
• 申請（專利權(quán)）人: 西南電子技術(shù)研究所(中國電子科技集團(tuán)公司第十研究所)
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/215;G06F40/289;G06F40/284;G06F16/951;G06K9/62
• 代理公司: 成都九鼎天元知識產(chǎn)權(quán)代理有限公司 51214
• 代理人: 劉世權(quán)

1.一種頭版新聞預(yù)測分類方法，其特征在于包括如下步驟：利用新聞文本數(shù)據(jù)構(gòu)建高聚類性、同配性、近似冪律度分布性的新聞網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，首先通過用戶界面輸入要查詢的關(guān)鍵字，在互聯(lián)網(wǎng)上搜集網(wǎng)頁，使用面向?qū)ο蟮某绦蛟O(shè)計語言Python編寫網(wǎng)絡(luò)爬蟲，加載到新聞報刊文本數(shù)據(jù)采集模塊中，將搜集到的網(wǎng)頁新聞文本信息保存到本地數(shù)據(jù)庫；數(shù)據(jù)清洗模塊將從網(wǎng)站獲取的原數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗工作；文本分詞模塊使用結(jié)巴分詞，對清洗完畢的數(shù)據(jù)進(jìn)行分詞；文本表征模塊利用Doc2Vec表征算法進(jìn)行向量表征，將每一篇新聞文本各自轉(zhuǎn)化為一個低維、高信息量的文本特征向量；相似性網(wǎng)絡(luò)構(gòu)建模塊利用局部敏感哈希(LSH)算法計算新聞間的相似度情況，得到一個稀疏的相似矩陣，根據(jù)LSH計算所得的相似矩陣視為新聞相關(guān)網(wǎng)絡(luò)的鄰接矩陣，構(gòu)建出新聞相似性網(wǎng)絡(luò)；頭版新聞預(yù)測模塊將H指數(shù)引入PageRank算法，根據(jù)相似性網(wǎng)絡(luò)計算支持H-指數(shù)貢獻(xiàn)矩陣，判斷是否遍歷完相似性網(wǎng)絡(luò)，是則根據(jù)支持H-指數(shù)貢獻(xiàn)矩陣迭代計算向量HR值，利用HR值對新聞進(jìn)行權(quán)重排序，預(yù)測top-N條新聞作為頭版新聞；

其中，頭版新聞預(yù)測模塊將H指數(shù)引入PageRank算法，根據(jù)相似性網(wǎng)絡(luò)計算支持H-指數(shù)貢獻(xiàn)矩陣，判斷是否遍歷完相似性網(wǎng)絡(luò)，是則根據(jù)支持H-指數(shù)貢獻(xiàn)矩陣迭代計算向量HR值，利用HR值對新聞進(jìn)行權(quán)重排序，預(yù)測top-N條新聞作為頭版新聞步驟，具體包括：

頭版新聞預(yù)測模塊對新聞進(jìn)行權(quán)重排序，將預(yù)測top-N條新聞作為頭版新聞，根據(jù)相似性網(wǎng)絡(luò)計算支持H-指數(shù)貢獻(xiàn)矩陣第i行j列的值v_j∈N(v_i)

其中，A_ij為網(wǎng)絡(luò)鄰接矩陣第i行j列的值，v_i為目標(biāo)節(jié)點，v_j為v_i所屬領(lǐng)域中的節(jié)點,D(v_j)為鄰域中節(jié)點v_j的度,H(v_i)為目標(biāo)節(jié)點v_i的H指數(shù)；

頭版新聞預(yù)測模塊遍歷計算完相似性網(wǎng)絡(luò)，根據(jù)鄰接函數(shù)l(v_i,v_j)代表在G_SHCM網(wǎng)絡(luò)中節(jié)點v_J在v_i領(lǐng)域N_SHCM(v_i)中的節(jié)點總數(shù)中的比重和支持H-指數(shù)貢獻(xiàn)矩陣迭代計算向量HR值：

其中，d為阻尼系數(shù)，N_SHCM(v_i)為網(wǎng)絡(luò)G_SHCM中節(jié)點v_i的領(lǐng)域，D_SHCM(v_j)為網(wǎng)絡(luò)G_SHCM中節(jié)點v_j的度，Sort_i表示基于某種排序算法所得的排序序列中第i個元素，N為Top-N預(yù)測的預(yù)測長度；

網(wǎng)絡(luò)G_SHCM中節(jié)點的數(shù)量N_SHCM＝|V_SHCM|，如果網(wǎng)絡(luò)G_SHCM中節(jié)點v_i和網(wǎng)絡(luò)G_SHCM中節(jié)點v_Jv_j不相鄰，則鄰接函數(shù)l(v_i,v_j)＝0，將HR值計算結(jié)果進(jìn)行Top-N預(yù)測，得到低維文本特征向量表征R_i＝Sort_i,if iN。

2.如權(quán)利要求1所述的頭版新聞預(yù)測分類方法，其特征在于：新聞報刊文本數(shù)據(jù)采集模塊使用Python編寫網(wǎng)絡(luò)爬蟲將網(wǎng)頁新聞文本信息儲存為“時間-標(biāo)題-文本-版面號”的格式，并保存到本地。

3.如權(quán)利要求1所述的頭版新聞預(yù)測分類方法，其特征在于：數(shù)據(jù)清洗模塊將從網(wǎng)站獲取的原數(shù)據(jù)中存在的“圖片新聞”進(jìn)行數(shù)據(jù)清洗，將原數(shù)據(jù)中的部分垃圾信息刪除，隨后對數(shù)據(jù)格式進(jìn)行規(guī)則化，刪除文本中的標(biāo)點、空格，同時將時間轉(zhuǎn)化為標(biāo)準(zhǔn)8位的形式Y(jié)YYYMMDD。