[發(fā)明專利]一種網(wǎng)頁解析并采集新聞的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201810444006.6
• 申請(qǐng)日: 2018-05-10
• 公開（公告）號(hào): CN108829729A
• 公開（公告）日: 2018-11-16
• 發(fā)明（設(shè)計(jì)）人: 梁莎莎;童晶;李天群;朱紅強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 河海大學(xué)常州校區(qū)
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 南京經(jīng)緯專利商標(biāo)代理有限公司 32200
• 代理人: 丁濤

1.一種網(wǎng)頁解析并采集新聞的方法，其特征在于，包括：

A1.抓取多個(gè)涵蓋新聞條目和新聞數(shù)據(jù)的目標(biāo)網(wǎng)頁信息，所抓取的目標(biāo)網(wǎng)頁信息包含統(tǒng)一資源定位符URL地址；

A2.解析步驟A1中所抓取的包含統(tǒng)一資源定位符URL地址的網(wǎng)頁信息，獲得多個(gè)網(wǎng)頁解析信息，其中包涵標(biāo)題、摘要、新聞圖片和新聞鏈接信息；

A3.獲取用戶輸入的關(guān)鍵字判斷A2中獲得的網(wǎng)頁解析信息是否符合預(yù)設(shè)標(biāo)準(zhǔn)以及用戶需求；

A4.使用半智能化的方式，即通過通用的鏈接挖掘算法并配合用戶自定義的信息挖掘條件來獲限制，自定義的信息挖掘條件主要包括缺省設(shè)置，關(guān)鍵字查詢；

A5.提取步驟A3中符合要求的且符合步驟A4中限制條件的新聞列表并獲取新聞內(nèi)容，并對(duì)新聞數(shù)據(jù)進(jìn)行多層篩選，包括語言篩選，條目顯示在主界面中，呈現(xiàn)給用戶。

2.根據(jù)權(quán)利要求1 所述的一種網(wǎng)頁解析并采集新聞的方法，其特征在于，在步驟A1和步驟A2間還包括步驟A11，判斷所述的目標(biāo)網(wǎng)頁信息的URL地址是否可以解析或是否已被解析過，若可以解析且未被解析過，則進(jìn)入步驟A2，若不可解析或已被解析過，則丟棄此URL地址。

3.根據(jù)權(quán)利要求1所述的一種網(wǎng)頁解析并采集新聞的方法，其特征在于，所述步驟A2中為了從目標(biāo)網(wǎng)頁信息中解析獲取新聞內(nèi)容，采用解析網(wǎng)頁源文件的方式來獲取新聞內(nèi)容。

4.根據(jù)權(quán)利要求1 所述的一種網(wǎng)頁解析并采集新聞的方法，其特征在于，所述網(wǎng)頁解析并采集新聞的方法支持根據(jù)發(fā)布者自定義的URL，將對(duì)應(yīng)的頁面作為數(shù)據(jù)源，并采用步驟A3和A4中所述方法自定義篩選，獲取該頁面所有符合條件的新聞條目。

5. 根據(jù)權(quán)利要求1 所述的一種網(wǎng)頁解析及新聞采集方法，其特征在于，在步驟A2中，對(duì)于解析后不可用的新聞源，選擇以通用的鏈接挖掘算法獲取所有鏈接數(shù)據(jù)，當(dāng)頁面包含的數(shù)據(jù)編碼與當(dāng)前編碼不同而產(chǎn)生中文亂碼時(shí)，改變當(dāng)前字符集編碼來解析包含的中文。

6. 根據(jù)權(quán)利要求1 所述的一種網(wǎng)頁解析并采集新聞的方法，其特征在于，所述步驟A1中，在抓取目標(biāo)網(wǎng)頁信息時(shí)，采用通用的鏈接挖掘算法采集頁面上包含的信息，包含URL地址，標(biāo)題，摘要，圖片，類型，編輯時(shí)間和來源。