[發明專利]交通一卡通交易數據全量查重方法及系統

在審

• 申請號: 201711184282.5
• 申請日: 2017-11-23
• 公開（公告）號: CN108038140A
• 公開（公告）日: 2018-05-15
• 發明（設計）人: 謝振東;方秋水;李之明;陳衛國;徐鋒;何建兵;張景奎
• 申請（專利權）人: 廣東嶺南通股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 廣州市越秀區哲力專利商標事務所(普通合伙) 44288
• 代理人: 莫之特;羅峰

1.一種交通一卡通交易數據全量查重方法，其特征在于，包括：

預處理步驟，設計預處理數據表；

同步步驟，將以往所有的交易數據同步到預處理數據表，所述交易數據包括交易文件、數據倉庫和非規則文件；

查重步驟，在預處理數據表中，對交易數據進行歷史查重，完成清分過程。

2.根據權利要求1所述的交通一卡通交易數據全量查重方法，其特征在于，所述預處理步驟包括：

將交易數據按票卡發行年分開，將票卡發行年作為獨立分表的基礎；

在物理上進行獨立分表，得到票卡同發行年的數據，根據發行票卡數量，采用票卡HASH取模方法建立若干張查重表；

在邏輯分區的基礎上，根據預估年交易筆數，在查重表上建立若干個分區，分區采用HASH方式，聯合查重鍵和邏輯票卡作為分區索引，根據執行效率優化分區索引類型。

3.根據權利要求1或2所述的交通一卡通交易數據全量查重方法，其特征在于，所述同步步驟包括：

對于交易文件類型的交易數據，采用文件數據批量導入到預處理數據表的方式，完成交易數據的同步；

對于數據倉庫類型的交易數據，采用數據庫鏈接到預處理數據表的方式，創建存儲過程，完成交易數據的同步；

對于非規則文件類型的交易數據，采用日志引擎分析、查找和清洗的方式，完成交易數據的同步。

4.根據權利要求1或2所述的交通一卡通交易數據全量查重方法，其特征在于，所述查重步驟包括：

對于預處理數據表中的每條交易數據，分組緩存并聚合同一票卡的所有交易記錄；

如果聚合得到的數據沒有重復，則將該條交易數據緩存；

所有交易數據逐條查重結束，完成清分后，預處理數據表中的交易數據轉成查重數據文件，并同步到查重表中。

5.根據權利要求1或2所述的交通一卡通交易數據全量查重方法，其特征在于，還包括：

更新步驟，將每天新產生的交易數據同步到預處理數據表；對于新產生的每條交易數據，分組緩存并聚合同一票卡的所有交易記錄；如果聚合到的數據沒有重復，則將該條交易數據緩存；所有交易數據逐條查重結束，完成清分后，新產生的交易數據轉成查重數據文件，并定時同步到查重表中。

6.一種交通一卡通交易數據全量查重系統，其特征在于，包括：

預處理模塊，用于設計預處理數據表；

同步模塊，用于將以往所有的交易數據同步到預處理數據表，所述交易數據包括交易文件、數據倉庫和非規則文件；

查重模塊，用于在預處理數據表中，對交易數據進行歷史查重，完成清分過程。

7.根據權利要求6所述的交通一卡通交易數據全量查重系統，其特征在于，所述預處理模塊用于：

將交易數據按票卡發行年分開，將票卡發行年作為獨立分表的基礎；

在物理上進行獨立分表，得到票卡同發行年的數據，根據發行票卡數量，采用票卡HASH取模方法建立若干張查重表；

在邏輯分區的基礎上，根據預估年交易筆數，在查重表上建立若干個分區，分區采用HASH方式，聯合查重鍵和邏輯票卡作為分區索引，根據執行效率優化分區索引類型。

8.根據權利要求6或7所述的交通一卡通交易數據全量查重系統，其特征在于，所述同步模塊用于：

對于交易文件類型的交易數據，采用文件數據批量導入到預處理數據表的方式，完成交易數據的同步；

對于數據倉庫類型的交易數據，采用數據庫鏈接到預處理數據表的方式，創建存儲過程，完成交易數據的同步；

對于非規則文件類型的交易數據，采用日志引擎分析、查找和清洗的方式，完成交易數據的同步。