[發明專利]一種基于相似度計算的網頁變更監測方法和系統

有效

• 申請號: 201611182671.X
• 申請日: 2016-12-20
• 公開（公告）號: CN106599242B
• 公開（公告）日: 2019-03-26
• 發明（設計）人: 劉坤朋;鄭杭;練軍
• 申請（專利權）人: 福建六壬網安股份有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/958;G06F21/55;G06F21/56
• 代理公司: 福州科揚專利事務所 35001
• 代理人: 徐開翟

本發明的一種基于相似度計算的網頁變更監測方法和系統，使用網絡爬蟲技術將網頁內容保存到本地，在設定的時間間隔再次獲取網頁內容，利用模糊哈希算法與本地保存的頁面內容相似度進行比較。可以自定義網頁內容屬性，內容不會改變的網頁內容，監測步驟較為簡潔，監測效率高。對于內容可改變的網頁內容，進一步進行差異分析，識別字符或者圖片的篡改，可以第一時間準確識別網頁內容是被篡改還是正常的更新，提高網頁內容的安全性。

技術領域

本發明涉及一種網頁信息監測技術，具體地說涉及一種基于相似度計算的網頁變更監測方法和系統。

背景技術

保證用戶正常瀏覽網頁的一項關鍵內容是防止網站側發布的網頁(頁面)被黑客篡改。所謂篡改，區別于合法的網頁內容修改(刷新)，是指網頁內容的變化不符合網站管理員或者用戶所請求網頁的預期。隨著互聯網信息爆炸式增長，每一天互聯網中的網頁都面臨著被篡改的風險。如不能及時發現網頁被篡改將給網站和用戶帶來不可估量的損失。

網頁被黑客篡改的方式主要有：黑客可能攻破網站，直接對該發布的網頁內容進行修改。現有技術中檢測網頁被篡改的方案為：：利用掃描器對網站進行周期性監測，具體為：安裝掃面器軟件，周期性獲取訪問被監測網頁的URL(Uniform Resoure Locator，統一資源定位器)，按照某種算法設置基準頁面，并將被監測網頁的頁面與基準頁面相比較，得出被監測網頁中被修改的頁面元素占該網頁所有頁面元素的比例，并根據該比例與預先設置的比例閾值判斷頁面是否被修改，該比例小于比例閾值認為被監測網站未被篡改，否則認為被監測網頁被篡改。或者，預先設置某些敏感詞，判斷被監測網頁中包括此類敏感詞時，則認為頁面被黑客篡改。由于現有的網站動態網頁技術很多，因此現有的技術方案很難準確識別網頁是被篡改還是正常內容刷新，不可避免地存在誤檢和漏檢。

發明內容

為此，本發明所要解決的技術問題在于現有技術中實時監測網頁無法準確識別網頁是被篡改還是正常的更新內容。

為解決上述技術問題，本發明所采用的技術方案：

一種基于相似度計算的網頁變更監測方法，包含以下步驟：

S1：將網絡中的網頁內容通過使用網絡爬蟲存儲至本地存儲設備,計算網頁內容的模糊哈希值；

S2：判斷所述網頁內容屬于第一網頁類型還是屬于第二網頁類型，并作出相應標記，第一網頁類型為網頁內容不會發生變化的網頁，第二網頁類型為網頁內容會發生變化的網頁；

S3：在設定的時間間隔后再次從網絡中爬取所述網頁內容，并計算此刻網頁內容的模糊哈希值；

S4：計算步驟S3中獲得的模糊哈希值與步驟S1中獲得的模糊哈希值的相似度，相似度的取值范圍為0-100；

S5：判斷所述網頁內容所屬網頁類型，若所述網頁內容屬于第一網頁內容，則進行步驟S6；若所述網頁內容屬于第二網頁內容，則進行步驟S7；

S6：判斷相似度的取值是否為100，是，則進行步驟S61；否，則進行步驟S62；

S61：結束所述網頁內容的監測；

S62:發出警告，結束所述網頁內容的監測；

S7：判斷相似度的取值是否為100，是，則結束所述網頁內容的監測；否，則進行步驟S71；

S71：利用DIFF工具找出所述網頁內容相比初始狀態的差異；

S72：判斷差異是否由于圖片變化引起，是，則進行步驟S8；否，則進行步驟S9；

S8：將圖片內容與惡意內容特征進行匹配，檢測圖片中是否有異常內容；是，則進行步驟S81；否，則進行步驟S82；

S81：發出警告，結束所述網頁內容的監測；