[發明專利]用于抓取數據的方法和裝置

有效

• 申請號: 201810178540.7
• 申請日: 2018-03-05
• 公開（公告）號: CN110309403B
• 公開（公告）日: 2022-11-04
• 發明（設計）人: 許庶
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種用于抓取數據的方法，包括：

基于接收到的多條數據抓取任務信息建立任務索引列表集合和任務詳情列表集合，其中，多條數據抓取任務信息中的該數據抓取任務信息包括至少一個數據地址和抓取優先級，所述任務索引列表集合中的任務索引列表包括任務標識符和抓取狀態，抓取狀態表示數據抓取任務信息所對應的數據抓取任務當前所處的狀態，所述任務詳情列表集合中的任務詳情列表包括任務標識符、數據地址和抓取優先級，針對該數據抓取任務信息，所述任務詳情列表集合中的一個任務詳情列表與所述任務索引列表集合中的多個任務索引列表的任務標識符相同，所述抓取優先級用于表示對所述至少一個數據地址對應的待抓取數據進行抓取的優先等級；

接收預先設定的客戶端集合中的目標客戶端發送的數據地址獲取請求，其中，目標客戶端為所述客戶端集合中的、當前可用的客戶端；

基于所述任務索引列表集合和所述任務詳情列表集合生成數據地址列表，以及將所述數據地址列表發送給所述目標客戶端，以供所述目標客戶端根據所述數據地址列表抓取數據；

接收所述目標客戶端針對所述數據地址列表返回的抓取結果數據。

2.根據權利要求1所述的方法，其中，所述方法還包括：

響應于所述數據地址列表發送完成，更新所述任務索引列表集合中的目標任務索引列表和所述任務詳情列表集合中的目標任務詳情列表中的信息，其中，所述目標任務詳情列表為所述任務詳情列表集合中的、包括所述數據地址列表中的數據地址的任務詳情列表，所述目標任務索引列表為所述任務索引列表集合中的、與所述目標任務詳情列表的任務標識符相同的任務索引列表。

3.根據權利要求2所述的方法，其中，所述更新所述任務索引列表集合和所述任務詳情列表集合中的目標任務索引列表和目標任務詳情列表中的信息，包括：

將所述目標任務索引列表中的抓取狀態更新為“抓取中”，時間更新為接收所述數據抓取任務信息的時間；

將所述目標任務詳情列表中的時間更新為發送所述數據地址列表的時間，最后一次抓取時間更新為當前時間。

4.根據權利要求2所述的方法，其中，在接收所述目標客戶端針對所述數據地址列表返回的抓取結果數據之后，所述方法還包括：

響應于確定所述目標客戶端針對所述數據地址列表的數據抓取任務未超時，對所述目標任務索引列表和所述目標任務詳情列表進行如下更新：

將所述目標任務索引列表中的抓取狀態更新為“完成”；

根據所述目標客戶端返回的抓取結果數據更新所述目標任務詳情列表中的文件路徑和抓取結果，以及將所述目標任務詳情列表中的MAC地址更新為所述目標客戶端的MAC地址。

5.根據權利要求4所述的方法，其中，所述方法還包括：

響應于確定所述目標客戶端針對所述數據地址列表的數據抓取任務超時，丟棄所述目標客戶端針對所述數據地址列表返回的抓取結果數據，以及將所述目標任務索引列表中的抓取狀態更新為“待抓取”。

6.根據權利要求1所述的方法，其中，所述基于所述任務索引列表集合和所述任務詳情列表集合生成數據地址列表，包括：

選取所述任務索引列表集合中的、抓取狀態為“待抓取”和“超時”的任務索引列表組成第一任務索引列表集合；

選取所述任務詳情列表集合中的、與所述第一任務索引列表集合中的第一任務索引列表的任務標識符相同的任務詳情列表組成第一任務詳情列表集合；

基于所述第一任務詳情列表集合中的各第一任務詳情列表中的抓取優先級和數據地址生成數據地址列表，其中，所述數據地址列表中的各數據地址對應的第一任務詳情列表包括相同的任務標識符。