[發明專利]一種商品采集調度方法及系統

在審

• 申請號: 201810019609.1
• 申請日: 2018-01-09
• 公開（公告）號: CN107944993A
• 公開（公告）日: 2018-04-20
• 發明（設計）人: 崔俊
• 申請（專利權）人: 北京值得買科技股份有限公司
• 主分類號: G06Q30/06
• 分類號: G06Q30/06;G06F17/30
• 代理公司: 北京維澳專利代理有限公司11252
• 代理人: 周放,趙景平

技術領域

本發明涉及電子商務技術領域，具體涉及一種商品采集調度方法及系統。

背景技術

商品采集調度是指在采集商品信息過程中，根據商品價格的變動規律，制定出特殊的個性化的采集策略。隨著商品采集數量的增多，圍繞商品采集調度開展的調度策略以及系統也日益增多。海量的商品數據包含了商品的各種標題、圖片、規格、評論、優惠以及價格等信息。其中對于價格采集進行調度的研究也是非常有價值的。

常規商品采集流程如下：

(一)從網站入口頁獲取列表頁URL(Uniform Resource Locator，統一資源定位符)，對列表頁的URL格式處理，同一個網站內部的列表頁URL格式相同；遍歷列表頁URL獲取商品單頁URL、商品標題、圖片等信息，將列表頁URL和單頁商品URL以及商品標題、圖片等信息保存到數據庫，并且要給商品價格賦值作為初始價格，價格更新時間、商品進入數據庫的時間等信息都要進行初始化。

(二)從數據庫中取出所有單頁URL，分析頁面結構，采集優惠信息、庫存、規格、品牌等屬性，處理后存放到數據庫中。將商品每次的價格變動信息單獨存放，日后便于查看商品的價格變動，也可以據此生成包含商品的所有歷史價格節點的價格曲線。

但是，隨著商品的日益增多，數據量呈現爆炸式增長。要做到盡可能的及早感知到商品的價格變動，需要以最短的采集間隔對商品進行全量采集(對所有商品進行采集)。目前策略的擬定完全參考歷史價格變動，并且基于一個假設，即最近一段時間內，價格長期未變的商品，在短期內價格可能也不會變化。如果商品的真實價格變動不吻合這個假設，可能會導致一些價格變動采集未能完全覆蓋。進一步，通過對25萬某一電商商品價格曲線研究發現，超過半數的商品在60天以內價格沒有變動(如表1所示)。在對比商品的區間占比和精確占比時不難發現，商品價格的變動總是集中在部分商品身上。如果按照常規全量采集的話，不但是對采集資源極大的浪費，而且影響了對其他商品價格的及時采集，價格敏感性(是否能及時采集到價格變動的商品)隨之降低。

表1

發明內容

針對上述缺陷與不同，本發明提供了一種商品采集調度方法及系統，以提高商品采集系統的效率以及實用性。

為了實現上述目的，本發明提供了如下技術方案：

一種商品采集調度方法，所述方法包括：

為所有要采集商品設置采集標記；

設置不同等級的采集頻率，所述不同等級的采集頻率包括：第一頻率；

以所述第一頻率采集所有要采集商品的URL，根據所述商品的URL將商品信息存儲到數據庫；

根據所述商品信息，計算商品采集時間距離上一次變價時間的天數，根據所述天數將所述采集標記指定為不同等級的采集頻率，以對商品進行不同等級采集頻率的采集。

優選地，所述不同等級的采集頻率還包括：第二頻率，所述第二頻率低于所述第一頻率；

所述根據所述天數將所述采集標記指定為不同等級的采集頻率包括：

檢測所述天數是否大于或等于第一設定天數并且小于第二設定天數，所述第二設定天數大于所述第一設定天數；

如果是，將所述采集標記指定為所述第二頻率，以對商品進行第二頻率的采集。

優選地，所述不同等級的采集頻率還包括：第三頻率，所述第三頻率低于所述第二頻率；

所述根據所述天數將所述采集標記指定為不同等級的采集頻率包括：

在所述天數大于第一設定天數時，檢測所述天數是否大于第二設定天數；

如果是，將所述采集標記指定為所述第三頻率，以對商品進行第三頻率的采集。

優選地，所述根據所述采集標記對商品進行不同等級采集頻率的采集包括：

根據當前采集時間與上一次采集時間檢測商品是否達到所述采集標記指定的頻率；

如果是，繼續采集商品的URL；

檢測商品的價格是否有變動；

如果是，指定所述采集標記為所述第一頻率，以對商品進行第一頻率的采集。

優選地，所述方法還包括：

如果商品的價格沒有變動，使所述采集標記保持指定的采集頻率或者根據所述天數將所述采集標記降低為下一等級的采集頻率。

優選地，所述如果商品的價格沒有變動，使所述采集標記保持指定的采集頻率或者根據所述天數將所述采集標記降低為下一等級的采集頻率包括：

當所述采集標記指定的頻率為第一頻率時，如果商品價格沒有變動；