[發明專利]交通一卡通交易數據全量查重方法及系統

在審

• 申請號: 201711184282.5
• 申請日: 2017-11-23
• 公開（公告）號: CN108038140A
• 公開（公告）日: 2018-05-15
• 發明（設計）人: 謝振東;方秋水;李之明;陳衛國;徐鋒;何建兵;張景奎
• 申請（專利權）人: 廣東嶺南通股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 廣州市越秀區哲力專利商標事務所(普通合伙) 44288
• 代理人: 莫之特;羅峰

本發明公開了一種交通一卡通交易數據全量查重方法及系統，該方法包括：設計有助于查重的預處理數據表，同步以往所有的交易數據到預處理數據表(包含交易文件、數據倉庫和非規則文件)，在清分過程對全數據進行查重，后續可以將查重結果信息顯示在客戶端的顯示界面上。在有新數據進入時，同樣依照前述方式在預處理數據表中進行查重，完成清分。本發明針對交通一卡通的歷史海量交易數據和新產生的龐大交易數據提供了一套穩定、高效、快速的全數據查重方法，使用戶在日益增加的交易數據量的情況下，對各種不同類型的交易數據進行查重清分，同時該查重方法也適用于其他行業的大數據查重應用領域。

技術領域

本發明涉及大數據處理的技術領域，尤其涉及交通一卡通交易數據全量查重方法及系統。

背景技術

近幾年來，隨著計算機和信息技術的迅猛發展和普及應用，行業應用系統的規模迅速擴大，行業應用所產生的數據呈爆炸性增長，例如交通一卡通的交易數據，動輒達到數百TB甚至數十至數百PB規模的行業/企業大數據已遠遠超出了現有傳統的計算技術和信息系統的處理能力，導致面對海量歷史數據和新產生的龐大數據時，傳統的數據處理方法其數據處理的效率較低，時間較長，因此，尋求有效的大數據處理技術、方法和手段已經成為當下的迫切需求。

發明內容

為了克服現有技術的不足，本發明的目的在于提供交通一卡通交易數據全量查重方法及系統，旨在解決現有技術的大數據處理技術面對海量歷史數據和新產生的龐大數據時其查重效率較低、所需時間較長的問題。

本發明的目的采用以下技術方案實現：

一種交通一卡通交易數據全量查重方法，其特征在于，包括：

預處理步驟，設計預處理數據表；

同步步驟，將以往所有的交易數據同步到預處理數據表，所述交易數據包括交易文件、數據倉庫和非規則文件；

查重步驟，在預處理數據表中，對交易數據進行歷史查重，完成清分過程。

在上述實施例的基礎上，優選的，所述預處理步驟包括：

將交易數據按票卡發行年分開，將票卡發行年作為獨立分表的基礎；

在物理上進行獨立分表，得到票卡同發行年的數據，根據發行票卡數量，采用票卡HASH取模方法建立若干張查重表；

在邏輯分區的基礎上，根據預估年交易筆數，在查重表上建立若干個分區，分區采用HASH方式，聯合查重鍵和邏輯票卡作為分區索引，根據執行效率優化分區索引類型。

在上述任意實施例的基礎上，優選的，所述同步步驟包括：

對于交易文件類型的交易數據，采用文件數據批量導入到預處理數據表的方式，完成交易數據的同步；

對于數據倉庫類型的交易數據，采用數據庫鏈接到預處理數據表的方式，創建存儲過程，完成交易數據的同步；

對于非規則文件類型的交易數據，采用日志引擎分析、查找和清洗的方式，完成交易數據的同步。

在上述任意實施例的基礎上，優選的，所述查重步驟包括：

對于預處理數據表中的每條交易數據，分組緩存并聚合同一票卡的所有交易記錄；

如果聚合得到的數據沒有重復，則將該條交易數據緩存；

所有交易數據逐條查重結束，完成清分后，預處理數據表中的交易數據轉成查重數據文件，并同步到查重表中。

在上述任意實施例的基礎上，優選的，還包括：