[發明專利]一種數據處理的方法及系統

有效

• 申請號: 201811337593.5
• 申請日: 2018-11-12
• 公開（公告）號: CN110737727B
• 公開（公告）日: 2023-09-29
• 發明（設計）人: 單衛華;殷暉
• 申請（專利權）人: 華為云計算技術有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/245;G06Q40/04
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 李欣

本申請實施例提供一種數據庫中的數據處理的方法。通過選取多個聚合間隔，根據多個聚合間隔對數據庫中的至少一條數據進行聚合，使得數據庫中存儲的數據簇具有不同屬性值跨度的數據范圍。從而在根據數據庫中存儲的數據簇查詢聚合值時，在保證查詢范圍的精確度的同時，提高聚合值查詢的實時性。

技術領域

本申請涉及信息技術領域，尤其涉及一種數據處理的方法與系統。

背景技術

在金融、電商、公安等領域，存在欺詐監測、精準營銷推薦、罪案災情預測等場景。這些場景下，用戶要求對進入數據庫的數據進行實時分析處理。例如，在金融交易實時風控中，每筆交易發生時，要求風控計算平臺在毫秒級時延要求下，實時計算出所有交易在56天時間窗口內的聚合值，包括交易總金額、交易平方和、交易總條數等，用于做進一步的復雜分析，如規則推理，模型評分等。數據產生時，數據的價值隨著時間的流逝而降低，因此，需要在數據出現時即刻對其進行處理，而不是緩存起來成一批處理，數據庫對數據處理的即刻性尤為重要。

與此同時，前述場景下的數據具有規模較大，且持續不斷到達的特點，其特點更是構成對其處理的即刻性的挑戰。為了實時處理持續不斷的大規模數據，并向用戶實時地提供數據庫中數據的聚合值，需要在數據庫接收到查詢請求之前，對數據庫中的數據進行聚合處理。如何對數據庫中的數據進行聚合處理，從而保證聚合值的查詢請求的實時性、查詢范圍的精確性是數據庫系統亟待解決的問題。

發明內容

第一方面，本申請實施例提供一種數據庫中的數據處理的方法。該方法包括：獲取至少一條數據，每條數據包括至少一個屬性。根據M個聚合間隔，分別對該至少一條數據的第一目標屬性的屬性值進行聚合計算得到T個數據簇，其中，該M個聚合間隔各不相同，每個數據簇包括聚合值，每個數據簇的聚合值為根據本數據簇所對應的聚合間隔針對該第一目標屬性的屬性值聚合計算得到，其中，該M為大于等于2的整數，T≥M。存儲該T個數據簇。

通過選取多個聚合間隔，根據多個聚合間隔對數據庫中的至少一條數據進行聚合，使得數據庫中存儲的數據簇具有不同屬性值跨度的數據范圍。從而在根據數據庫中存儲的數據簇查詢聚合值時，在保證查詢范圍的精確度的同時，提高聚合值查詢的實時性。

結合第一方面，在第一方面的第一種可能的實現方式中，該方法還包括：預先設置M個聚合層，每個聚合層對應一個聚合間隔，該T個數據簇歸屬該M個聚合層，該M個聚合間隔的任意兩個相鄰的聚合間隔具有父子關系，父聚合間隔為子聚合間隔的整數倍。

M個聚合間隔有多種選取方法。可查詢的查詢范圍的精度取決于最小的聚合間隔，最小聚合間隔的父聚合間隔用于進一步降低聚合運算所需時間，提高聚合值查詢的實時性。

結合第一方面或第一方面的第一種可能的實現方式，在第一方面的第二種可能的實現方式中，該獲取至少一條數據包括：接收數據流中的第N條數據，N為大于等于1的整數。該根據M個聚合間隔，分別對該至少一條數據的第一目標屬性的屬性值進行聚合計算得到T個數據簇，包括：根據該第N條數據的第一目標屬性的屬性值，確定該第N條數據在該M個聚合層中分別對應的M個數據簇；如果該數據庫中已經生成該第N條數據在第m個聚合層對應的數據簇，則根據該第N條數據的第一目標屬性的屬性值對該已經生成的數據簇的聚合值進行刷新，m為變量且取值范圍為1≤m≤M；如果該數據庫中未生成該第N條數據在第m個聚合層對應的數據簇，對該第N條數據的第一目標屬性的屬性值進行聚合計算生成數據簇。

接收到每條數據時進行聚合運算，每接收一條數據，僅需做M次聚合運算，降低了聚合運算的計算量，節省了數據庫系統的計算資源，進一步提高了查詢的實時性。