[發明專利]一種可擴展的新聞網站通用爬蟲方法及系統

在審

• 申請號: 202010617010.5
• 申請日: 2020-07-01
• 公開（公告）號: CN111723265A
• 公開（公告）日: 2020-09-29
• 發明（設計）人: 趙粉玉;邱彥林;陳尚武
• 申請（專利權）人: 杭州敘簡科技股份有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951
• 代理公司: 杭州浙言專利代理事務所(普通合伙) 33370
• 代理人: 易朝暉

本發明涉及及計算機領域，尤其涉及一種可擴展的新聞網站通用爬蟲方法及系統，方法包括：添加需要爬取的網站url以及相關配置；獲取需要爬取的網站以及相關配置；對網址使用通用解析規則解析并返回解析效果，如果解析錯誤，則加入網站相應的xpath解析規則；對加入xpath解析規則的網站使用配置解析，其它網站使用默認解析規則；對解析結果進行存儲。本發明對網址使用通用解析規則解析并返回解析效果，如果解析錯誤，則加入網站相應的xpath解析規則；對加入xpath解析規則的網站使用配置解析，其它網站使用默認解析規則，以實現對所有網站的爬取新聞解析都具有很高的正確率。

技術領域

本發明涉及及計算機領域，尤其涉及一種可擴展的新聞網站通用爬蟲方法及系統。

背景技術

新聞網站爬蟲系統是一種從網絡中自動抓取新聞并解析新聞詳情的系統，抓取的內容可供下游任務使用。

隨著大數據時代的到來，已經有一些通用新聞網站的爬蟲方法，但是這些新聞解析方式只針對部分網站效果很好，難以做到所有網站獲取的新聞解析正確率達到百分之百，而且增大爬取新聞網站數量，正確率會隨之下降。

發明內容

為解決上述問題，本發明提出一種可擴展的新聞網站通用爬蟲方法及系統，以提高爬取新聞解析的正確率。

一方面，本發明提出一種可擴展的新聞網站通用爬蟲方法，包括：

添加需要爬取的網站url以及相關配置；

獲取需要爬取的網站以及相關配置；

對網址使用通用解析規則解析并返回解析效果，如果解析錯誤，則加入網站相應的xpath解析規則；

對加入xpath解析規則的網站使用配置解析，其它網站使用默認解析規則；

對解析結果進行存儲。

優選的，在所述添加需要爬取的網站url以及相關配置之前包括：

判斷各網站url是否在指紋文件，若無則添加指紋文件。

優選的，所述對網址使用通用解析規則解析包括：

使用scrapy框架下載網頁源碼；

去除網站中的腳本以及樣式；

構建dom樹，計算每個節點要求的變量；

根據c計算每個節點的分數，找出分數最大的節點，提取網頁正文，并格式化輸出。

優選的，所述構建dom樹，計算每個節點要求的變量包括：

計算該節點的文本密度；

計算符號密度為文字數量與符號數量的比值；

計算Dom樹標簽分數score，score越大，則該結點屬于正文內容的可能性較大。

優選的，所述計算該節點的文本密度包括：

設定i 為 Dom 樹的一個結點，則該節點的文本密度 TDi 為：

，

其中，T_i表示結點 i的字符串字數；LT_i表示結點 i的帶鏈接的字符串字數；TG_i表示結點 i的標簽數；LTG_i表示結點 i帶鏈接的標簽數。

優選的，所述計算符號密度為文字數量與符號數量的比值的計算公式為：

，