[發明專利]一種數據處理的方法及裝置

有效

• 申請號: 201811279474.9
• 申請日: 2018-10-30
• 公開（公告）號: CN109446200B
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 周雍愷;蔣丹妮;王琪;何東杰
• 申請（專利權）人: 中國銀聯股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;H04L29/06
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 黃志華

本發明公開了一種數據處理的方法及裝置，該方法包括，獲取至少兩路通訊報文，其中，該至少兩路通訊報文是通過旁路方式截取業務處理系統發送給外部系統的報文，業務處理系統不執行記錄存儲的邏輯，對至少兩路通訊報文進行處理，從處理后的至少兩路通訊報文中確定出待存儲的通訊報文；根據至少兩路通訊報文將待存儲的通訊報文存儲到數據庫中。該技術方案針對非時延敏感業務系統，將業務處理與數據存儲進行異步解耦分離，在保障業務處理與入庫數據一致性的前提下，提高業務處理的性能，滿足互聯網突發的大量處理請求。

技術領域

本發明實施例涉及數據處理技術，尤其涉及一種數據處理的方法及裝置。

背景技術

互聯網大流量的應用場景下，對于分布式系統的處理能力提出了很高的要求。其中有一類業務系統，對處理有極高的性能與吞吐量要求，但對于業務數據存儲的時延可以有一定的容忍度，該類系統可以統稱為非時延敏感業務系統。針對非時延敏感業務系統，現有技術中業務處理完成后需要等待存儲系統將通訊報文存儲之后，才能進行下一步的業務處理，這樣影響了業務處理的性能，不能滿足互聯網突發的大量處理請求。

針對非時延敏感業務系統，需要一種可以將業務處理與數據存儲進行異步解耦分離，在數據存儲允許的時延容忍度范圍內，提高業務處理的性能，滿足互聯網突發的大量處理請求。

發明內容

本發明實施例提供一種數據處理的方法及裝置，針對非時延敏感業務系統，在保障業務處理與入庫數據一致性的前提下，提高業務處理的性能，滿足互聯網突發的大量處理請求。

本發明實施例提供的一種數據處理的方法，包括：

獲取至少兩路通訊報文；所述至少兩路通訊報文是通過旁路方式截取業務處理系統發送給外部系統的報文；所述業務處理系統不執行記錄存儲的邏輯；

對所述至少兩路通訊報文進行處理，從處理后的所述至少兩路通訊報文中確定出待存儲的通訊報文；

根據所述至少兩路通訊報文將所述待存儲的通訊報文存儲到數據庫中。

上述技術方案中，將業務處理與數據存儲進行異步解耦分離，通過旁路方式截取業務處理系統發送給外部系統的通訊報文，并根據獲取到的通訊報文進行數據存儲。業務處理系統不執行記錄存儲的邏輯，也就是業務處理系統不將通訊報文發送給數據庫進行存儲，更無需等待數據庫存儲之后才能執行下一步的業務處理，加快了業務處理的速度，提高了業務處理性能，滿足互聯網突發的大量處理請求。

可選的，所述獲取至少兩路通訊報文，包括：

通過交換機端口鏡像方式將所述通訊報文復制，并輸出至少一路第一通訊報文；

通過鏈路分光截取方式將所述通訊報文復制，并輸出至少一路第二通訊報文。

上述技術方案中，提供兩種獲取通訊報文的方式，即在不影響業務處理系統與外部系統通訊的前提下，通過兩種獨立的方式獲取相同的通訊報文。

可選的，所述對所述至少兩路通訊報文進行處理，包括：

針對所述至少兩路通訊報文中的任一通訊報文，對所述通訊報文進行分流處理；

將所述分流處理的通訊報文預處理后，提取所述預處理后的所述分流處理的通訊報文中的應用層信息。

上述技術方案中，對通訊報文進行處理，保障了數據的完整性以及數據存儲的準確性，同時通過數據處理減小數據庫壓力。

可選的，所述根據所述至少兩路通訊報文將所述待存儲的通訊報文存儲到數據庫中，包括：

確定所述待存儲的通訊報文是否完整，若不完整，則根據所述至少兩路通訊報文，將所述待存儲的通訊報文補充完整后存儲在數據庫中。