[發明專利]一種定向信息抓取場景中大規模IP地址資源使用方法

有效

• 申請號: 201610182957.1
• 申請日: 2016-03-28
• 公開（公告）號: CN105721631B
• 公開（公告）日: 2019-04-30
• 發明（設計）人: 時金橋;譚慶豐;王學賓
• 申請（專利權）人: 中國科學院信息工程研究所
• 主分類號: H04L29/12
• 分類號: H04L29/12
• 代理公司: 北京君尚知識產權代理事務所(普通合伙) 11200
• 代理人: 余功勛

1.一種定向信息抓取場景中大規模IP地址資源使用方法，包括以下步驟：

針對設置了訪問頻率限制的網絡資源，根據一IP地址集合中每個IP地址下次可訪問該網絡資源的時刻建立包含集合中全部IP地址的優先隊列；

在向某個網絡信息采集任務分配可用IP地址時，取出優先隊列中優先級最高的IP地址，并更新該IP地址的下次可訪問該網絡資源的時刻，重新將其放入優先隊列；若當前時刻大于或等于其下次可訪問該網絡資源的時刻，則當前任務可立即使用該IP地址，否則當前任務阻塞直至當前時刻大于或等于其下次可訪問該網絡資源的時刻，方可使用該IP地址；

針對每個IP地址維護該IP地址的使用次數和訪問失敗次數，當從優先隊列中取出的優先級最高的IP地址時，以1-訪問失敗次數/該IP地址的使用次數的概率選用，訪問失敗次數/該IP地址的使用次數的概率放棄；若該優先級最高的IP地址被放棄，則繼續根據優先級從優先隊列中取出IP地址，直到有一個IP地址被選用。

2.如權利要求1所述的定向信息抓取場景中大規模IP地址資源使用方法，其特征在于，所述優先隊列中，IP地址下次訪問該網絡資源的時刻越小則其優先級越高。

3.如權利要求1所述的定向信息抓取場景中大規模IP地址資源使用方法，其特征在于，根據目標網絡資源的訪問頻率限制值來更新該IP地址下次可訪問該網絡資源的時刻。

4.如權利要求1所述的定向信息抓取場景中大規模IP地址資源使用方法，其特征在于，所述根據一IP地址集合L中每個IP地址下次可訪問該網絡資源的時刻建立包含L中全部IP地址的優先隊列包括：

1)建立原始類型為(IP，ts)的優先隊列Q，其中ts表示該IP地址最早的下次可訪問該網絡資源的時刻，在優先隊列Q中，ts的值越小，元素的優先級越高；

2)對L中的每個IP地址，構造元素(IP，當前時刻)并放入優先隊列Q中，最終使Q中的元素數量等于L中的元素數量。

5.如權利要求1所述的定向信息抓取場景中大規模IP地址資源使用方法，其特征在于，所述針對每個IP地址維護該IP地址的使用次數和訪問失敗次數包括：

建立key為IP地址，value為(fn，un)的字典S，對L中的每個IP地址，構造key為該IP地址，value為(0,0)的元素并放入S中；最終S中的元素數量等于L中的元素數量；其中，fn為該IP地址的使用次數，un為訪問失敗次數。

6.如權利要求5所述的定向信息抓取場景中大規模IP地址資源使用方法，其特征在于，所述當從優先隊列中取出的優先級最高的IP地址時，以1-訪問失敗次數/該IP地址的使用次數的概率選用，訪問失敗次數/該IP地址的使用次數的概率放棄；若該優先級最高的IP地址被放棄，則繼續根據優先級從優先隊列中取出IP地址，直到有一個IP地址被選用，包括：

1)維護一個計數器，表示下述步驟2)執行的次數c,并初始化c＝0；

2)從優先隊列Q中取出優先級最高的元素(IP，ts)，之后向Q中放入元素(IP，max(當前時刻，ts)+T)，并令c＝c+1；若c大于等于預設的一固定值，直接轉至步驟5)；

3)根據IP從字典S中獲得對應的(fn，un)；若un小于等于某個固定值，轉至步驟5)；

4)生成一個位于區間[0,1)之間的浮點類型的隨機數r，若r小于1-fn/un，則轉至步驟5)，否則轉至步驟2)；

5)對于步驟2)中選出的元素(IP，ts)，若當前時刻t大于或等于ts，則返回IP；否則，睡眠ts-t的時間之后返回IP。