[發明專利]一種交易數據的處理系統、處理方法、介質和設備

有效

• 申請號: 202111654532.3
• 申請日: 2021-12-30
• 公開（公告）號: CN114218303B
• 公開（公告）日: 2023-03-24
• 發明（設計）人: 葉剛;張德富
• 申請（專利權）人: 北京宇信科技集團股份有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/2453;G06F16/2455;G06F16/27;G06Q40/04;G06F3/06;G06F9/54
• 代理公司: 北京卓嵐智財知識產權代理有限公司 11624
• 代理人: 沈煜華

1.一種交易數據的處理方法，其特征在于，所述方法包括：

步驟1：通過數據切割服務集群中的多個數據切割服務器對原始交易數據進行分片處理，將所述原始交易數據切割成多片子原始交易數據，并存儲在共享磁盤對應的目錄中；其中，每個數據切割服務器對應于原始交易數據中的一種類型的交易數據，所述原始交易數據與交易場景相關聯；

步驟2：通過數據標準化服務集群監聽并消費所述共享磁盤中的每片子原始交易數據，將所述每片子原始交易數據構建成具有順序屬性的交易鏈路數據，獲得交易鏈路數據集合，并將所述交易鏈路數據集合寫入第一消息隊列集群中對應的緩存分片區；其中，每片子原始交易數據以借據號為單位；

步驟3：通過標準數據分發服務集群監聽并消費所述第一消息隊列集群中對應的緩存分片區中的交易鏈路數據集合，將所述交易鏈路數據集合中的數據分發至第二消息隊列集群中對應的緩存分片區，得到多片子交易鏈路數據集合，并監聽分發結果；

步驟4：當分發結果為分發完畢后，通過第一交易數據處理服務集群監聽并消費分發至第二消息隊列集群中的緩存分片區中的子交易鏈路數據集合，按照子交易鏈路數據集合中的交易步驟執行數據處理并將執行數據處理的結果持久化至數據庫；

其中，步驟1具體包括：

步驟1.1：啟動切割任務定時器，當滿足切割條件時，所述切割任務定時器觸發數據切割服務集群對原始交易數據進行切割；

步驟1.2：所述數據切割服務集群按照哈希取模的方式獲得每行原始交易數據的分片索引；

步驟1.3：所述數據切割服務集群根據所述分片索引將每行原始交易數據分別寫入共享磁盤對應的目錄中，得到多片子原始交易數據；

其中，步驟2具體包括：

步驟2.1：數據標準化服務集群監聽并消費所述共享磁盤中的每片子原始交易數據，對每片子原始交易數據進行標準化處理，得到標準交易數據；

步驟2.2：數據標準化服務集群對所述標準交易數據進行完整性校驗；

步驟2.3：數據標準化服務集群將校驗合格的標準交易數據構建成具有順序屬性的交易鏈路數據集合；

步驟2.4：數據標準化服務集群將所述交易鏈路數據集合緩存在對應的第一消息隊列集群中的緩存分片區；

其中，步驟3具體包括：

步驟3.1：標準數據分發服務集群監聽并消費所述第一消息隊列集群中對應的緩存分片區中的交易鏈路數據集合；

步驟3.2：所述標準數據分發服務集群對每個緩存分片區中的交易鏈路數據集合按照哈希取模的方式獲得每行數據的分片索引；其中，每行數據的分片索引＝散列(借據號)％緩存分片區數量；

步驟3.3：所述標準數據分發服務集群按照所述分片索引將每行數據分發至第二消息隊列集群中對應的緩存分片區，得到多片子交易鏈路數據集合；

步驟3.4：所述標準數據分發服務集群監聽分發結果，直至分發完畢；

其中，所述步驟4具體包括：

步驟4.1：當監聽到分發結果為分發完畢后，第一交易數據處理服務集群監聽并消費每片子交易鏈路數據集合；

步驟4.2：所述第一交易數據處理服務集群將一個或多個交易步驟的數據分別寫入第三消息隊列集群中對應的緩存分片區，獲得一個或多個交易步驟的多個分片數據，并對未被分片的交易步驟執行數據處理。

2.根據權利要求1所述的方法，其特征在于，步驟2.3還包括：

當所述標準交易數據的校驗結果為不合格時，所述數據標準化服務集群返回步驟2.1重新對校驗不合格的標準交易數據對應的原始交易數據進行標準化處理。

3.根據權利要求1所述的方法，其特征在于，在所述步驟4.2之后還包括：

步驟4.3：第二交易數據處理服務集群分別從所述第三消息隊列集群中對應的緩存分片區中獲取分片數據并執行數據處理，將執行數據處理的結果返回至所述第一交易數據處理服務集群；

步驟4.4：所述第一交易數據處理服務集群對執行數據處理的結果持久化至數據庫。