[發明專利]信息爬取方法與裝置

在審

• 申請號: 201710994107.6
• 申請日: 2017-10-23
• 公開（公告）號: CN107729508A
• 公開（公告）日: 2018-02-23
• 發明（設計）人: 苑海江;黨啟賀
• 申請（專利權）人: 北京京東金融科技控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F9/445;G06F9/48;G06F9/50
• 代理公司: 北京律智知識產權代理有限公司11438
• 代理人: 闞梓瑄,王衛忠

1.一種信息爬取方法，其特征在于，包括：

獲取根據目標網站的網頁層級結構以及信息爬取需求生成的配置文件；

根據所述配置文件執行對所述網站的信息爬取任務。

2.根據權利要求1所述的信息爬取方法，其特征在于，所述配置文件包括：

所述爬取任務的設置信息以及所述目標網站的入口URL；

與所述網頁層級結構的每一層分別對應的多個爬取策略組件組。

3.根據權利要求2所述的信息爬取方法，其特征在于，所述爬取策略組件組包括多個組件，所述組件包括多個獨立執行爬取功能的插件。

4.根據權利要求2或3所述的信息爬取方法，其特征在于，根據所述配置文件執行對所述網站的信息爬取任務包括：

獲取一個URL對應的內容；

判斷是否需要輸入關鍵詞，如果需要則通過所述配置文件中與所述URL對應的爬取策略組件組對當前網頁輸入關鍵詞；

判斷是否需要保存所述內容，如果需要則通過所述配置文件中與所述URL對應的爬取策略組件組保存所述內容；

判斷是否需要生成下一級URL，如果不需要則結束爬取流程，如果需要則通過所述配置文件中與所述URL對應的爬取策略組件組生成下一級URL。

5.根據權利要求1所述的信息爬取方法，其特征在于，執行對所述網站的信息爬取任務包括：

通過平臺調度集群內的多臺計算機同時執行多個信息爬取任務。

6.一種信息爬取裝置，其特征在于，包括：

配置文件獲取模塊，設置為獲取根據目標網站的網頁結構以及信息爬取需求生成的配置文件；

配置文件執行模塊，設置為根據所述配置文件執行對所述網站的信息爬取任務。

7.根據權利要求6所述的信息爬取裝置，其特征在于，所述配置文件包括：

所述爬取任務的設置信息以及所述目標網站的入口URL；

與所述網頁層級結構的每一層分別對應的多個爬取策略組件組。

8.根據權利要求7所述的信息爬取裝置，其特征在于，所述爬取策略組件組包括多個組件，所述組件包括多個獨立執行爬取功能的插件。

9.根據權利要求7或8所述的信息爬取裝置，其特征在于，所述配置文件執行模塊包括：

內容獲取單元，設置為獲取一個URL對應的內容；

關鍵詞輸入單元，設置為判斷是否需要輸入關鍵詞，如果需要則通過所述配置文件中與所述URL對應的爬取策略組件組對當前網頁輸入關鍵詞；

內容保存單元，設置為判斷是否需要保存所述內容，如果需要則通過所述配置文件中與所述URL對應的爬取策略組件組保存所述內容；

下級URL生成單元，設置為判斷是否需要生成下一級URL，如果不需要則結束爬取流程，如果需要則通過所述配置文件中與所述URL對應的爬取策略組件組生成下一級URL。

10.根據權利要求6所述的信息爬取裝置，其特征在于，還包括：

平臺調度模塊，設置為通過平臺調度集群內的多臺計算機同時執行多個信息爬取任務。

11.一種信息爬取裝置，其特征在于，包括：

存儲器；以及

耦合到所屬存儲器的處理器，處理器被配置為基于存儲在存儲器中的指令，執行如權利要求1-5任一項所述的方法。

12.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現權利要求1-5任一項所述的方法步驟。