[發(fā)明專利]一種交易平臺(tái)數(shù)據(jù)處理方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201611109700.X
• 申請(qǐng)日: 2016-12-02
• 公開(kāi)（公告）號(hào): CN108153789A
• 公開(kāi)（公告）日: 2018-06-12
• 發(fā)明（設(shè)計(jì)）人: 安西民;吳方才;徐鳳桐
• 申請(qǐng)（專利權(quán)）人: 航天星圖科技（北京）有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G06Q30/02;G06Q40/04
• 代理公司: 北京安博達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11271
• 代理人: 徐國(guó)文

1.一種交易平臺(tái)數(shù)據(jù)處理方法，其特征在于，該方法包括如下步驟：

步驟1：數(shù)據(jù)收集單元基于針對(duì)互聯(lián)網(wǎng)交易平臺(tái)的采集策略通過(guò)互聯(lián)網(wǎng)進(jìn)行數(shù)據(jù)收集；

步驟2：中間存儲(chǔ)器保存來(lái)自不同互聯(lián)網(wǎng)交易平臺(tái)的數(shù)據(jù)；

步驟3：數(shù)據(jù)清洗平臺(tái)對(duì)數(shù)據(jù)集合中的所有數(shù)據(jù)進(jìn)行格式內(nèi)容的標(biāo)準(zhǔn)化處理；

步驟4：數(shù)據(jù)清洗平臺(tái)去除數(shù)據(jù)記錄中存在的明顯不合理字段值和一條數(shù)據(jù)記錄中存在明顯矛盾的字段值。

步驟5：數(shù)據(jù)清洗平臺(tái)將處理后的數(shù)據(jù)集合保存到數(shù)據(jù)倉(cāng)庫(kù)中；

步驟6：客戶機(jī)訪問(wèn)數(shù)據(jù)倉(cāng)庫(kù)獲取所需數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的交易平臺(tái)數(shù)據(jù)處理方法，其特征在于，基于數(shù)據(jù)清洗平臺(tái)的請(qǐng)求將特定數(shù)據(jù)收集單元采集的匹配所請(qǐng)求序列編號(hào)的數(shù)據(jù)集合通過(guò)中間存儲(chǔ)器發(fā)送給數(shù)據(jù)清洗平臺(tái)。

3.根據(jù)權(quán)利要求1-2任意一項(xiàng)所述的交易平臺(tái)數(shù)據(jù)處理方法，其特征在于，中間存儲(chǔ)器中為每個(gè)數(shù)據(jù)收集單元分配獨(dú)立的存儲(chǔ)區(qū)域。

4.根據(jù)權(quán)利要求1-3任意一項(xiàng)所述的交易平臺(tái)數(shù)據(jù)處理方法，其特征在于，同一數(shù)據(jù)收集單元采集的數(shù)據(jù)集合按照采集序列編號(hào)的順序保存在同一存儲(chǔ)區(qū)域中。

5.根據(jù)權(quán)利要求3所述的交易平臺(tái)數(shù)據(jù)處理方法，其特征在于，在數(shù)據(jù)收集單元對(duì)其對(duì)應(yīng)存儲(chǔ)區(qū)域進(jìn)行存儲(chǔ)時(shí)，如果該存儲(chǔ)區(qū)域用盡，則判斷位于存儲(chǔ)區(qū)域頭部的數(shù)據(jù)集合對(duì)應(yīng)的序列編碼是否已經(jīng)無(wú)效，如果是，則直接從該頭部區(qū)域開(kāi)始存儲(chǔ)，覆蓋該無(wú)效序列編碼對(duì)應(yīng)的數(shù)據(jù)集合，如果否，則向中間存儲(chǔ)器申請(qǐng)臨時(shí)存儲(chǔ)區(qū)域進(jìn)行存儲(chǔ)，在申請(qǐng)臨時(shí)存儲(chǔ)區(qū)域失敗的情況下，暫停針對(duì)當(dāng)次序列編號(hào)的數(shù)據(jù)集合的存儲(chǔ)。

6.根據(jù)權(quán)利要求5所述的交易平臺(tái)數(shù)據(jù)處理方法，其特征在于，當(dāng)序列編碼對(duì)應(yīng)的數(shù)據(jù)集合過(guò)了保留時(shí)間期限后則標(biāo)記為無(wú)效。

7.根據(jù)權(quán)利要求5所述的交易平臺(tái)數(shù)據(jù)處理方法，其特征在于，序列編號(hào)隨著采集次數(shù)的增加而增加。

8.根據(jù)權(quán)利要求5所述的交易平臺(tái)數(shù)據(jù)處理方法，其特征在于，該臨時(shí)存儲(chǔ)區(qū)域在物理上鄰接該存儲(chǔ)區(qū)域；。

9.根據(jù)權(quán)利要求1所述的交易平臺(tái)數(shù)據(jù)處理方法，其特征在于，中間存儲(chǔ)器為存儲(chǔ)器集群。

10.根據(jù)權(quán)利要求1所述的交易平臺(tái)數(shù)據(jù)處理方法，其特征在于，中間存儲(chǔ)器允許多個(gè)設(shè)備發(fā)起的并行數(shù)據(jù)訪問(wèn)。