[發(fā)明專利]交通一卡通交易數(shù)據(jù)全量查重方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201711184282.5
• 申請日: 2017-11-23
• 公開（公告）號: CN108038140A
• 公開（公告）日: 2018-05-15
• 發(fā)明（設(shè)計）人: 謝振東;方秋水;李之明;陳衛(wèi)國;徐鋒;何建兵;張景奎
• 申請（專利權(quán)）人: 廣東嶺南通股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 廣州市越秀區(qū)哲力專利商標(biāo)事務(wù)所(普通合伙) 44288
• 代理人: 莫之特;羅峰

本發(fā)明公開了一種交通一卡通交易數(shù)據(jù)全量查重方法及系統(tǒng)，該方法包括：設(shè)計有助于查重的預(yù)處理數(shù)據(jù)表，同步以往所有的交易數(shù)據(jù)到預(yù)處理數(shù)據(jù)表(包含交易文件、數(shù)據(jù)倉庫和非規(guī)則文件)，在清分過程對全數(shù)據(jù)進行查重，后續(xù)可以將查重結(jié)果信息顯示在客戶端的顯示界面上。在有新數(shù)據(jù)進入時，同樣依照前述方式在預(yù)處理數(shù)據(jù)表中進行查重，完成清分。本發(fā)明針對交通一卡通的歷史海量交易數(shù)據(jù)和新產(chǎn)生的龐大交易數(shù)據(jù)提供了一套穩(wěn)定、高效、快速的全數(shù)據(jù)查重方法，使用戶在日益增加的交易數(shù)據(jù)量的情況下，對各種不同類型的交易數(shù)據(jù)進行查重清分，同時該查重方法也適用于其他行業(yè)的大數(shù)據(jù)查重應(yīng)用領(lǐng)域。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)處理的技術(shù)領(lǐng)域，尤其涉及交通一卡通交易數(shù)據(jù)全量查重方法及系統(tǒng)。

背景技術(shù)

近幾年來，隨著計算機和信息技術(shù)的迅猛發(fā)展和普及應(yīng)用，行業(yè)應(yīng)用系統(tǒng)的規(guī)模迅速擴大，行業(yè)應(yīng)用所產(chǎn)生的數(shù)據(jù)呈爆炸性增長，例如交通一卡通的交易數(shù)據(jù)，動輒達到數(shù)百TB甚至數(shù)十至數(shù)百PB規(guī)模的行業(yè)/企業(yè)大數(shù)據(jù)已遠(yuǎn)遠(yuǎn)超出了現(xiàn)有傳統(tǒng)的計算技術(shù)和信息系統(tǒng)的處理能力，導(dǎo)致面對海量歷史數(shù)據(jù)和新產(chǎn)生的龐大數(shù)據(jù)時，傳統(tǒng)的數(shù)據(jù)處理方法其數(shù)據(jù)處理的效率較低，時間較長，因此，尋求有效的大數(shù)據(jù)處理技術(shù)、方法和手段已經(jīng)成為當(dāng)下的迫切需求。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)的不足，本發(fā)明的目的在于提供交通一卡通交易數(shù)據(jù)全量查重方法及系統(tǒng)，旨在解決現(xiàn)有技術(shù)的大數(shù)據(jù)處理技術(shù)面對海量歷史數(shù)據(jù)和新產(chǎn)生的龐大數(shù)據(jù)時其查重效率較低、所需時間較長的問題。

本發(fā)明的目的采用以下技術(shù)方案實現(xiàn)：

一種交通一卡通交易數(shù)據(jù)全量查重方法，其特征在于，包括：

預(yù)處理步驟，設(shè)計預(yù)處理數(shù)據(jù)表；

同步步驟，將以往所有的交易數(shù)據(jù)同步到預(yù)處理數(shù)據(jù)表，所述交易數(shù)據(jù)包括交易文件、數(shù)據(jù)倉庫和非規(guī)則文件；

查重步驟，在預(yù)處理數(shù)據(jù)表中，對交易數(shù)據(jù)進行歷史查重，完成清分過程。

在上述實施例的基礎(chǔ)上，優(yōu)選的，所述預(yù)處理步驟包括：

將交易數(shù)據(jù)按票卡發(fā)行年分開，將票卡發(fā)行年作為獨立分表的基礎(chǔ)；

在物理上進行獨立分表，得到票卡同發(fā)行年的數(shù)據(jù)，根據(jù)發(fā)行票卡數(shù)量，采用票卡HASH取模方法建立若干張查重表；

在邏輯分區(qū)的基礎(chǔ)上，根據(jù)預(yù)估年交易筆數(shù)，在查重表上建立若干個分區(qū)，分區(qū)采用HASH方式，聯(lián)合查重鍵和邏輯票卡作為分區(qū)索引，根據(jù)執(zhí)行效率優(yōu)化分區(qū)索引類型。

在上述任意實施例的基礎(chǔ)上，優(yōu)選的，所述同步步驟包括：

對于交易文件類型的交易數(shù)據(jù)，采用文件數(shù)據(jù)批量導(dǎo)入到預(yù)處理數(shù)據(jù)表的方式，完成交易數(shù)據(jù)的同步；

對于數(shù)據(jù)倉庫類型的交易數(shù)據(jù)，采用數(shù)據(jù)庫鏈接到預(yù)處理數(shù)據(jù)表的方式，創(chuàng)建存儲過程，完成交易數(shù)據(jù)的同步；

對于非規(guī)則文件類型的交易數(shù)據(jù)，采用日志引擎分析、查找和清洗的方式，完成交易數(shù)據(jù)的同步。

在上述任意實施例的基礎(chǔ)上，優(yōu)選的，所述查重步驟包括：

對于預(yù)處理數(shù)據(jù)表中的每條交易數(shù)據(jù)，分組緩存并聚合同一票卡的所有交易記錄；

如果聚合得到的數(shù)據(jù)沒有重復(fù)，則將該條交易數(shù)據(jù)緩存；

所有交易數(shù)據(jù)逐條查重結(jié)束，完成清分后，預(yù)處理數(shù)據(jù)表中的交易數(shù)據(jù)轉(zhuǎn)成查重數(shù)據(jù)文件，并同步到查重表中。

在上述任意實施例的基礎(chǔ)上，優(yōu)選的，還包括：