[發明專利]網頁檢測方法和裝置

在審

• 申請號: 201510923931.3
• 申請日: 2015-12-14
• 公開（公告）號: CN106874299A
• 公開（公告）日: 2017-06-20
• 發明（設計）人: 李新國
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京康信知識產權代理有限責任公司11240
• 代理人: 韓建偉,張永明

1.一種網頁檢測方法，其特征在于，包括：

對目標網站在預設時間段內的訪問日志進行解析，得到在所述預設時間段內多個被訪問網頁；

從所述多個被訪問網頁中確定出目標網頁，所述目標網頁為在所述預設時間段之前未被訪問的網頁；

爬取所述目標網頁的頁面內容，從所述頁面內容中解析出所述目標網頁的發布時間；

判斷所述發布時間是否處于所述預設時間段內；以及

在判斷出所述發布時間處于所述預設時間段內時，確定所述目標網頁為在所述預設時間段內更新的網頁。

2.根據權利要求1所述的方法，其特征在于，從所述多個被訪問網頁中確定出目標網頁包括：

逐條將所述多個被訪問網頁的統一資源定位符與在所述預設時間段之前記錄的網頁的統一資源定位符進行匹配，在所述多個被訪問網頁中被訪問網頁的統一資源定位符未匹配到在所述預設時間段之前記錄的所述目標網站上的網頁的統一資源定位符時，將該未匹配到的被訪問網頁作為所述目標網頁。

3.根據權利要求2所述的方法，其特征在于，逐條將所述多個被訪問網頁的統一資源定位符與在所述預設時間段之前記錄的網頁的統一資源定位符進行匹配，在所述多個被訪問網頁中被訪問網頁的統一資源定位符未匹配到在所述預設時間段之前記錄的所述目標網站上的網頁的統一資源定位符時，將該未匹配到的被訪問網頁作為所述目標網頁包括：

對所述多個被訪問網頁中每一個被訪問網頁的統一資源定位符進行哈希編碼，得到所述多個被訪問網頁中每一個被訪問網頁的統一資源定位符的哈希值；

在預先設置的布隆過濾器中查詢所述多個被訪問網頁中每一個被訪問網頁的統一資源定位符的哈希值，其中，所述布隆過濾器中存儲有所述目標網站上在所述預設時間段之前發布的網頁的統一資源定位符的哈希值；

將未查詢到的哈希值對應的網頁作為所述目標網頁。

4.根據權利要求1所述的方法，其特征在于，在爬取所述目標網頁的頁面內容之后，所述方法還包括：

根據所述頁面內容判斷所述目標網頁是否為列表頁；

在判斷出所述目標網頁是列表頁時，丟棄所述目標網頁。

5.根據權利要求1所述的方法，其特征在于，從所述頁面內容中解析出所述目標網頁的發布時間包括：

按照所述目標網站配置的解析規則從所述頁面內容中解析出所述目標網頁的發布時間；或者

按照預先設置的解析規則從所述頁面內容中解析出所述目標網頁的發布時間。

6.一種網頁檢測裝置，其特征在于，包括：

第一解析單元，用于對目標網站在預設時間段內的訪問日志進行解析，得到在所述預設時間段內多個被訪問網頁；

第一確定單元，用于從所述多個被訪問網頁中確定出目標網頁，所述目標網頁為在所述預設時間段之前未被訪問的網頁；

第二解析單元，用于爬取所述目標網頁的頁面內容，從所述頁面內容中解析出所述目標網頁的發布時間；

第一判斷單元，用于判斷所述發布時間是否處于所述預設時間段內；以及

第二確定單元，用于在判斷出所述發布時間處于所述預設時間段內時，確定所述目標網頁為在所述預設時間段內更新的網頁。

7.根據權利要求6所述的裝置，其特征在于，所述第一確定單元具體用于逐條將所述多個被訪問網頁的統一資源定位符與在所述預設時間段之前記錄的網頁的統一資源定位符進行匹配，在所述多個被訪問網頁中被訪問網頁的統一資源定位符未匹配到在所述預設時間段之前記錄的所述目標網站上的網頁的統一資源定位符時，將該未匹配到的被訪問網頁作為所述目標網頁。

8.根據權利要求7所述的裝置，其特征在于，所述第一確定單元包括：

編碼模塊，用于對所述多個被訪問網頁中每一個被訪問網頁的統一資源定位符進行哈希編碼，得到所述多個被訪問網頁中每一個被訪問網頁的統一資源定位符的哈希值；

查詢模塊，用于在預先設置的布隆過濾器中查詢所述多個被訪問網頁中每一個被訪問網頁的統一資源定位符的哈希值，其中，所述布隆過濾器中存儲有所述目標網站上在所述預設時間段之前發布的網頁的統一資源定位符的哈希值；

確定模塊，用于將未查詢到的哈希值對應的網頁作為所述目標網頁。