[發(fā)明專利]一種跨境電商全球商品清關(guān)系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201710111033.7
• 申請(qǐng)日: 2017-02-28
• 公開（公告）號(hào): CN106803167A
• 公開（公告）日: 2017-06-06
• 發(fā)明（設(shè)計(jì)）人: 鄧豪;劉海清
• 申請(qǐng)（專利權(quán)）人: 深圳海帶寶網(wǎng)絡(luò)科技股份有限公司
• 主分類號(hào): G06Q10/10
• 分類號(hào): G06Q10/10;G06Q50/26;G06F17/30
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種跨境電商全球商品清關(guān)系統(tǒng)，其特征在于，包括數(shù)據(jù)庫(kù)及應(yīng)用服務(wù)器、中國(guó)海外國(guó)際寬帶接口、海外主要電商網(wǎng)站和海外倉(cāng)庫(kù)PDA商品條碼掃描系統(tǒng)；所述中國(guó)海外國(guó)際寬帶接口的一端與設(shè)置在中國(guó)機(jī)房?jī)?nèi)的數(shù)據(jù)庫(kù)及應(yīng)用服務(wù)器相連，另一端分別連接有海外主要電商網(wǎng)站和海外倉(cāng)庫(kù)PDA商標(biāo)條碼掃描系統(tǒng)，所述數(shù)據(jù)庫(kù)及應(yīng)用服務(wù)器包括中心數(shù)據(jù)庫(kù)、網(wǎng)絡(luò)爬蟲應(yīng)用服務(wù)器、報(bào)關(guān)資料數(shù)據(jù)庫(kù)、數(shù)據(jù)庫(kù)備機(jī)，其中，中心數(shù)據(jù)庫(kù)與網(wǎng)絡(luò)爬蟲應(yīng)用服務(wù)器為同等級(jí)的平行設(shè)備，二者的下級(jí)連接有報(bào)關(guān)資料數(shù)據(jù)庫(kù)和數(shù)據(jù)庫(kù)備機(jī)。

2.根據(jù)權(quán)利要求1所述的一種跨境電商全球商品清關(guān)系統(tǒng)，其特征在于：所述網(wǎng)絡(luò)爬蟲應(yīng)用服務(wù)器的運(yùn)行機(jī)制包括：

(1)精選符合業(yè)務(wù)需要的種子URL，即把網(wǎng)絡(luò)爬蟲程序抓取的對(duì)象網(wǎng)頁(yè)的鏈接地址作為種子URL(結(jié)合業(yè)務(wù)需要，精選海外主要電商網(wǎng)站的商品展示頁(yè)面)，并將這些種子URL放入待抓取URL隊(duì)列中；

(2)按深度優(yōu)先策略讀取待抓取URL，即爬蟲按深度優(yōu)先策略從待抓取URL隊(duì)列中依次讀取待抓取URL；

(3)網(wǎng)頁(yè)下載，即通過(guò)DNS解析，網(wǎng)頁(yè)下載器將待抓取URL對(duì)應(yīng)的頁(yè)面內(nèi)容下載到本地進(jìn)行數(shù)據(jù)分析；

(4)頁(yè)面解析，即抓取頁(yè)面上的商品信息(商品名稱、商品價(jià)格、商品圖片等)并儲(chǔ)存到商品庫(kù)數(shù)據(jù)庫(kù)中，以及抓取頁(yè)面上的新鏈接地址，并結(jié)合已抓取URL信息進(jìn)行去重，把最終確認(rèn)的新地址按深度優(yōu)先策略存放到待抓取URL中；

(5)商品信息智能匹對(duì)，即海外倉(cāng)庫(kù)使用PDA掃描商品外包裝上的商品條形碼，倉(cāng)庫(kù)系統(tǒng)則通過(guò)商品條碼在商品庫(kù)中匹對(duì)相應(yīng)的商品信息，并將獲取到的商品信息存儲(chǔ)到中心數(shù)據(jù)庫(kù)中，以供商品在報(bào)關(guān)時(shí)與報(bào)關(guān)資料數(shù)據(jù)庫(kù)進(jìn)行對(duì)比和補(bǔ)充。

3.根據(jù)權(quán)利要求1所述的一種跨境電商全球商品清關(guān)系統(tǒng)，其特征在于：所述網(wǎng)絡(luò)爬蟲應(yīng)用服務(wù)器所抓取的信息還會(huì)不斷進(jìn)行更新和淘汰。

4.根據(jù)權(quán)利要求1所述的一種跨境電商全球商品清關(guān)系統(tǒng)，其特征在于：所述網(wǎng)絡(luò)爬蟲應(yīng)用服務(wù)器中的爬蟲系統(tǒng)抓取海外主要電商網(wǎng)站頁(yè)面上的新鏈接地址，并結(jié)合已抓取URL信息進(jìn)行去重，采用的是Bloom Filter算法技術(shù)。

5.根據(jù)權(quán)利要求1所述的一種跨境電商全球商品清關(guān)系統(tǒng)，其特征在于：一種跨境電商全球商品清關(guān)系統(tǒng)還包括業(yè)務(wù)整體解決方案框架，即網(wǎng)絡(luò)爬蟲應(yīng)用服務(wù)器將最終抓取到的符合業(yè)務(wù)需求的種子URL儲(chǔ)存在中心數(shù)據(jù)庫(kù)中，報(bào)關(guān)時(shí)，通過(guò)掃碼器將報(bào)關(guān)商品進(jìn)行錄入，并將信息儲(chǔ)存在報(bào)關(guān)資料數(shù)據(jù)庫(kù)中，然后將這些信息與中心數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行對(duì)比，最終對(duì)采集到的報(bào)關(guān)數(shù)據(jù)進(jìn)行補(bǔ)充，該業(yè)務(wù)整體解決方案框架保持不變，網(wǎng)絡(luò)爬蟲應(yīng)用服務(wù)器還可以部署到海外。

6.根據(jù)權(quán)利要求1所述的一種跨境電商全球商品清關(guān)系統(tǒng)，其特征在于：結(jié)合全球數(shù)據(jù)同步系統(tǒng)，可以把網(wǎng)絡(luò)爬蟲抓取的數(shù)據(jù)先保存在海外數(shù)據(jù)庫(kù)，再通過(guò)數(shù)據(jù)同步系統(tǒng)同步回國(guó)內(nèi)中心數(shù)據(jù)庫(kù)，實(shí)現(xiàn)網(wǎng)絡(luò)爬蟲的分布式處理。