[發明專利]爬取電商網站關鍵詞品類信息的方法及裝置

在審

• 申請號: 201510719610.1
• 申請日: 2015-10-29
• 公開（公告）號: CN106649322A
• 公開（公告）日: 2017-05-10
• 發明（設計）人: 郭秦龍
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京鼎佳達知識產權代理事務所(普通合伙)11348
• 代理人: 王偉鋒,劉鐵生

1.一種爬取電商網站關鍵詞品類信息的方法，其特征在于，包括：

根據電商網站信息、爬取品類信息的關鍵詞構造電商網站的搜索統一資源定位符URL；

訪問構造的電商網站的搜索URL，獲取所述URL對應的網頁的頁面信息；

對所述網頁的頁面信息進行解析，提取出所述頁面中描述電商網站關鍵詞品類的信息，得到電商網站關鍵詞品類信息。

2.根據權利要求1所述的方法，其特征在于，所述電商網站信息包括電商網站的域名；根據電商網站信息、爬取品類信息的關鍵詞構造電商網站的搜索URL包括：

根據電商的域名信息、爬取品類信息的關鍵詞構造如下形式的電商網站的搜索URL:

http://search.XXX.com/Search？keyword＝YYY

其中，XXX是電商網站的域名，YYY是指具體的爬取品類信息的關鍵詞。

3.根據權利要求1或2所述的方法，其特征在于，訪問構造的電商網站的搜索URL，獲取所述URL對應的網頁的頁面信息包括：

批量訪問構造的電商網站的搜索URL，獲取所述URL對應的網頁的頁面信息。

4.根據權利要求3所述的方法，其特征在于，所述批量訪問構造的電商網站的搜索URL，獲取所述URL對應的網頁的頁面信息包括：

通過多線程同時并發批量訪問構造的電商網站的搜索URL，獲取所述URL對應的網頁的頁面信息。

5.根據權利要求4所述的方法，其特征在于，所述頁面信息為超文本標記語言HTML代碼的形式的頁面信息。

6.根據權利要求5所述的方法，其特征在于，對所述網頁的頁面信息進行解析，提取出所述頁面中描述電商網站關鍵詞品類的信息，得到電商網站關鍵詞品類信息包括：

直接對所述HTML代碼進行解析，提取出所述頁面中描述電商網站關鍵詞品類的信息，得到電商網站關鍵詞品類信息。

7.一種爬取電商網站關鍵詞品類信息的裝置，其特征在于，包括：

構造單元，用于根據電商網站信息、爬取品類信息的關鍵詞構造電商網站的搜索統一資源定位符URL；

訪問單元，用于訪問構造的電商網站的搜索URL，獲取所述URL對應的網頁的頁面信息；

解析單元，用于對所述網頁的頁面信息進行解析，提取出所述頁面中描述電商網站關鍵詞品類的信息，得到電商網站關鍵詞品類信息。

8.根據權利要求7所述的裝置，其特征在于，所述電商網站信息包括電商網站的域名；所述構造單元具體用于：

根據電商的域名信息、爬取品類信息的關鍵詞構造如下形式的電商網站的搜索URL:

http://search.XXX.com/Search？keyword＝YYY

其中，XXX是電商網站的域名，YYY是指具體的爬取品類信息的關鍵詞。

9.根據權利要求7或8所述的裝置，其特征在于，所述訪問單元用于批量訪問構造的電商網站的搜索URL，獲取所述URL對應的網頁的頁面信息。

10.根據權利要求9所述的裝置，其特征在于，所述批量訪問構造的電商網站的搜索URL，獲取所述URL對應的網頁的頁面信息包括：

通過多線程同時并發批量訪問構造的電商網站的搜索URL，獲取所述URL對應的網頁的頁面信息。