[發明專利]網站內容更新檢測評價方法及系統

有效

• 申請號: 201310422723.6
• 申請日: 2013-09-16
• 公開（公告）號: CN103544213B
• 公開（公告）日: 2016-10-12
• 發明（設計）人: 初殿松
• 申請（專利權）人: 青島英網資訊股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 青島聯信知識產權代理事務所 37227
• 代理人: 王中云;王月玲

1.一種網站內容更新檢測評價方法，其特征在于：包括以下步驟：

（1）抓取原始頁面的URL地址所對應的基礎頁面源代碼，并生成頁面源代碼所對應的文件對象模型DOM樹；

（2）抓取目標頁面的URL地址所對應的基礎頁面源代碼，并生成頁面源代碼所對應的文件對象模型DOM樹；

（3）將目標頁面的DOM樹與原始頁面的DOM樹進行比較，計算原始頁面的DOM樹與目標頁面的DOM樹的相似度，將此相似度值與用戶設置的相似度值進行比較，若大于用戶設定的相似度值，則認為頁面內容沒有更新；若小于用戶設定的相似度值，則認為頁面內容有更新。

2.如權利要求1所述的網站內容更新檢測評價方法，其特征在于：所述原始頁面的DOM樹與目標頁面的DOM樹的相似度的方法為：

（1）對權利要求1的步驟（1）中對原始頁面的頁面源代碼進行md5數字簽名；

（2）對權利要求1的步驟（2）中對目標頁面的頁面源代碼進行md5數字簽名；

（3）若原始頁面源代碼的md5數字簽名與目標頁面源代碼的md5數字簽名相同，則認為原始頁面的DOM樹與目標頁面的DOM樹相似度為100%，目標頁面沒有更新，結束比較；否則進行步驟（4）；

（4）計算目標頁面DOM樹所有直屬子元素與原始頁面DOM樹所有直屬子元素之間的相似度；

（5）計算目標頁面DOM樹每個直屬子元素占這個給DOM樹文檔模型長度的百分比，即元素長度百分比；取步驟（4）中計算得到的目標頁面DOM樹的每個直屬子元素與原始頁面DOM樹每個直屬子元素之間的相似度值，即元素相似度值；將每個直屬子元素的元素長度百分比與該直屬子元素對應的元素相似度值相乘，得到每個元素的DOM樹相似度值；

（6）將目標頁面DOM樹的每個直屬子元素的DOM樹相似度值相加，得到原始頁面的DOM樹與目標頁面的DOM樹的相似度值，若相似度大于設定值，則認為頁面沒有更新，若相似度小于設定的相似度值，則認為頁面有更新；

（7）將步驟（6）中對相似度的計算結果存保存到存儲模塊，同時將最新的頁面URL快照及頁面對應的DOM樹保存到存儲模塊中，用最新的頁面DOM樹替換原始頁面DOM樹，作為之后比較的基礎。

3.如權利要求2所述的網站內容更新檢測評價方法，其特征在于：所述目標頁面DOM樹所有直屬子元素與原始頁面DOM樹所有直屬子元素之間的相似度的方法為：

（1）比較目標頁面DOM樹的每個直屬子元素與原始頁面的DOM樹的每個直屬子元素的標簽，若標簽不同，則認為相似度為0%，頁面有更新；若標簽相同，則進行步驟（2）；

（2）比較標簽屬性的相似度，即標簽相同的屬性占所有屬性的百分比。

4.如權利要求3所述的網站內容更新檢測評價方法，其特征在于：所述目標頁面DOM樹的每個直屬子元素與原始頁面的DOM樹的每個直屬子元素的標簽屬性相似度的比較方法為，將目標頁面DOM樹的第一個節點與原始頁面DOM樹父節點和所有子節點依次進行比較，直到找到與目標頁面DOM樹的第一個節點相同的節點，若能夠找到相同的標簽，則將此標簽作為基準標簽，其余兄弟標簽的比較以此節點標簽為基準進行比較；若不能找到相同的標簽，則將目標頁面DOM樹的下一個節點進行相同過程的比較。

5.如權利要求3所述的網站內容更新檢測評價方法，其特征在于：判斷標簽是否相同的標準為：對于容器類標簽，比較標簽名是否相同；對于非容器類標簽，判斷標簽名是否相同，并判斷標簽內容是否相同。

6.如權利要求5所述的網站內容更新檢測評價方法，其特征在于：對非容器類標簽內容進行比較的方式為純文本比較，即對標簽內的文本內容進行比較。

7.一種鑒別網站更新的系統，其特征在于：該系統包括：

抓取模塊：抓取原始頁面和目標頁面的URL地址所對應的基礎頁面源代碼，并對原始頁面和目標頁面代碼分別進行md5數字簽名；

解析模塊：解析原始頁面和目標代碼所對應的DOM樹；

簡單比較模塊：對原始頁面和目標頁面代碼的md5數字簽名進行比較；

標簽比較模塊：對原始頁面和目標頁面DOM樹的標簽進行比較，對容器標簽的標簽名進行比較；

純文本比較模塊：對原始頁面和目標頁面DOM樹的非容器標簽的文本內容進行比較；

存儲模塊：存儲比較結果，同時存儲最新的頁面URL頁面代碼及其多對應的DOM樹，作為下次比較的基礎；在下次比較時，從存儲頁面中調用存儲的結果，作為原始頁面，作為與目標頁面比較的基礎。