[發明專利]基于網頁結構的信息動態采集更新調度方法

有效

• 申請號: 201210428272.2
• 申請日: 2012-10-31
• 公開（公告）號: CN103793421B
• 公開（公告）日: 2017-07-07
• 發明（設計）人: 都云程
• 申請（專利權）人: 北京拓爾思信息技術股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京金律言科知識產權代理事務所(普通合伙)11461
• 代理人: 羅延紅,劉潔

1.基于網頁結構的信息動態采集更新調度方法，其特征在于，包括：

S1，采用網頁結構分析方法對每個采集后的網頁進行分析，獲取網頁結構信息，并對每一項網頁結構信息所占比例進行量化打分，其中，所述網頁結構信息包括：錨文本、有效鏈接、新鏈接、URL特征、非鏈接文字；

S2，頁面分數大于一定閾值(θ)判定為Hub頁面，參與更新采集調度；

S3，將Hub頁面分數劃定等級，不同等級采用不同的調度周期實施調度；

S4，每輪采集后，重新調整Hub頁面調度等級，在持續調整過程中實現更新采集效果的不斷優化。

2.如權利要求1所述的信息動態采集更新調度方法，其特征在于，更新調度策略需在對待采集網頁進行初始采集后進行。

3.如權利要求1所述的信息動態采集更新調度方法，其特征在于，每一項結構信息所占比例作為量化打分的一個量化因子，所有量化因子定義如下：

量化因子A：錨文本占比，是頁面中所有錨文本字符長度之和與網頁所有的內容字符的長度之比；

量化因子B：有效鏈接占比，錨文本長度符合一定長度范圍的鏈接作為有效鏈接，長度超過一定大小或者小于一定大小的鏈接作為無效鏈接；頁面中有效鏈接數與總鏈接數之比即為有效鏈接占比；

量化因子C：新鏈接占比，在頁面新發現的鏈接數與頁面中總鏈接數之比；

量化因子D：URL特征，如果網頁的URL名字包含“index.htm”、“default.htm”字符串，則對該網頁的權值增加D；

量化因子E：非鏈接文字占比，頁面中非鏈接文字字符長度之和與網頁所有內容字符的長度之比；

量化因子F：調度獎罰因子，如果網頁在調度周期內采集成功，權值加F；否則權值減F。

4.如權利要求1所述的信息動態采集更新調度方法，其特征在于，頁面量化加權打分，按如下公式計算：

頁面量化分數＝α*A+β*B+γ*C+D-δ*E+F，或，頁面量化分數＝α*A+β*B+γ*C+D-δ*E–F，其中α、β、γ、δ為各量化因子的加權系數。

5.如權利要求4所述的信息動態采集更新調度方法，其特征在于，量化分數為百分制，當量化分數大于100時記為100，不足0時記為0。

6.如權利要求4和權利要求5任一項所述的信息動態采集更新調度方法，其特征在于，量化分數大于一定閾值(θ)的頁面作為Hub頁面，參與更新調度，否則不進行更新調度。

7.如權利要求1和權利要求4任一項所述的信息動態采集更新調度方法，其特征在于，將Hub頁面的量化分數劃分到不同權值范圍，每一個權值范圍作為一個等級，賦予不同的調度周期，根據采集規模的不同，確定周期范圍。

8.如權利要求1所述的信息動態采集更新調度方法，其特征在于，每次更新采集后需要對頁面進行重新量化打分，劃分為不同等級后的Hub頁面，如果在調度周期內采集失敗，則降低一定權值；如果采集成功則相應增加一定權值，根據調整后的權值，重新確定范圍，判斷該頁面的調度周期，實施動態調度。