[發(fā)明專利]一種數(shù)據(jù)處理的方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201811337776.7
• 申請日: 2018-11-12
• 公開（公告）號: CN110737673B
• 公開（公告）日: 2022-04-12
• 發(fā)明（設(shè)計(jì)）人: 單衛(wèi)華;殷暉
• 申請（專利權(quán)）人: 華為云計(jì)算技術(shù)有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/2453;G06F16/28;G06Q40/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

本申請實(shí)施例提供一種數(shù)據(jù)庫中的數(shù)據(jù)處理的方法。通過選取多個(gè)聚合間隔，根據(jù)多個(gè)聚合間隔對數(shù)據(jù)庫中的至少一條數(shù)據(jù)進(jìn)行聚合，使得數(shù)據(jù)庫中存儲(chǔ)的數(shù)據(jù)簇具有不同屬性值跨度的數(shù)據(jù)范圍。從而在根據(jù)數(shù)據(jù)庫中存儲(chǔ)的數(shù)據(jù)簇查詢聚合值時(shí)，在保證查詢范圍的精確度的同時(shí)，提高聚合值查詢的實(shí)時(shí)性。

技術(shù)領(lǐng)域

本申請涉及信息技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理的方法與系統(tǒng)。

背景技術(shù)

在金融、電商、公安等領(lǐng)域，存在欺詐監(jiān)測、精準(zhǔn)營銷推薦、罪案災(zāi)情預(yù)測等場景。這些場景下，用戶要求對進(jìn)入數(shù)據(jù)庫的數(shù)據(jù)進(jìn)行實(shí)時(shí)分析處理。例如，在金融交易實(shí)時(shí)風(fēng)控中，每筆交易發(fā)生時(shí)，要求風(fēng)控計(jì)算平臺(tái)在毫秒級時(shí)延要求下，實(shí)時(shí)計(jì)算出所有交易在56天時(shí)間窗口內(nèi)的聚合值，包括交易總金額、交易平方和、交易總條數(shù)等，用于做進(jìn)一步的復(fù)雜分析，如規(guī)則推理，模型評分等。數(shù)據(jù)產(chǎn)生時(shí)，數(shù)據(jù)的價(jià)值隨著時(shí)間的流逝而降低，因此，需要在數(shù)據(jù)出現(xiàn)時(shí)即刻對其進(jìn)行處理，而不是緩存起來成一批處理，數(shù)據(jù)庫對數(shù)據(jù)處理的即刻性尤為重要。

與此同時(shí)，前述場景下的數(shù)據(jù)具有規(guī)模較大，且持續(xù)不斷到達(dá)的特點(diǎn)，其特點(diǎn)更是構(gòu)成對其處理的即刻性的挑戰(zhàn)。為了實(shí)時(shí)處理持續(xù)不斷的大規(guī)模數(shù)據(jù)，并向用戶實(shí)時(shí)地提供數(shù)據(jù)庫中數(shù)據(jù)的聚合值，需要在數(shù)據(jù)庫接收到查詢請求之前，對數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行聚合處理。如何對數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行聚合處理，從而保證聚合值的查詢請求的實(shí)時(shí)性、查詢范圍的精確性是數(shù)據(jù)庫系統(tǒng)亟待解決的問題。

發(fā)明內(nèi)容

第一方面，本申請實(shí)施例提供一種數(shù)據(jù)庫中的數(shù)據(jù)處理的方法。該方法包括：獲取至少一條數(shù)據(jù)，每條數(shù)據(jù)包括至少一個(gè)屬性。根據(jù)M個(gè)聚合間隔，分別對該至少一條數(shù)據(jù)的第一目標(biāo)屬性的屬性值進(jìn)行聚合計(jì)算得到T個(gè)數(shù)據(jù)簇，其中，該M個(gè)聚合間隔各不相同，每個(gè)數(shù)據(jù)簇包括聚合值，每個(gè)數(shù)據(jù)簇的聚合值為根據(jù)本數(shù)據(jù)簇所對應(yīng)的聚合間隔針對該第一目標(biāo)屬性的屬性值聚合計(jì)算得到，其中，該M為大于等于2的整數(shù)，T≥M。存儲(chǔ)該T個(gè)數(shù)據(jù)簇。

通過選取多個(gè)聚合間隔，根據(jù)多個(gè)聚合間隔對數(shù)據(jù)庫中的至少一條數(shù)據(jù)進(jìn)行聚合，使得數(shù)據(jù)庫中存儲(chǔ)的數(shù)據(jù)簇具有不同屬性值跨度的數(shù)據(jù)范圍。從而在根據(jù)數(shù)據(jù)庫中存儲(chǔ)的數(shù)據(jù)簇查詢聚合值時(shí)，在保證查詢范圍的精確度的同時(shí)，提高聚合值查詢的實(shí)時(shí)性。

結(jié)合第一方面，在第一方面的第一種可能的實(shí)現(xiàn)方式中，該方法還包括：預(yù)先設(shè)置M個(gè)聚合層，每個(gè)聚合層對應(yīng)一個(gè)聚合間隔，該T個(gè)數(shù)據(jù)簇歸屬該M個(gè)聚合層，該M個(gè)聚合間隔的任意兩個(gè)相鄰的聚合間隔具有父子關(guān)系，父聚合間隔為子聚合間隔的整數(shù)倍。

M個(gè)聚合間隔有多種選取方法。可查詢的查詢范圍的精度取決于最小的聚合間隔，最小聚合間隔的父聚合間隔用于進(jìn)一步降低聚合運(yùn)算所需時(shí)間，提高聚合值查詢的實(shí)時(shí)性。

結(jié)合第一方面或第一方面的第一種可能的實(shí)現(xiàn)方式，在第一方面的第二種可能的實(shí)現(xiàn)方式中，該獲取至少一條數(shù)據(jù)包括：接收數(shù)據(jù)流中的第N條數(shù)據(jù)，N為大于等于1的整數(shù)。該根據(jù)M個(gè)聚合間隔，分別對該至少一條數(shù)據(jù)的第一目標(biāo)屬性的屬性值進(jìn)行聚合計(jì)算得到T個(gè)數(shù)據(jù)簇，包括：根據(jù)該第N條數(shù)據(jù)的第一目標(biāo)屬性的屬性值，確定該第N條數(shù)據(jù)在該M個(gè)聚合層中分別對應(yīng)的M個(gè)數(shù)據(jù)簇；如果該數(shù)據(jù)庫中已經(jīng)生成該第N條數(shù)據(jù)在第m個(gè)聚合層對應(yīng)的數(shù)據(jù)簇，則根據(jù)該第N條數(shù)據(jù)的第一目標(biāo)屬性的屬性值對該已經(jīng)生成的數(shù)據(jù)簇的聚合值進(jìn)行刷新，m為變量且取值范圍為1≤m≤M；如果該數(shù)據(jù)庫中未生成該第N條數(shù)據(jù)在第m個(gè)聚合層對應(yīng)的數(shù)據(jù)簇，對該第N條數(shù)據(jù)的第一目標(biāo)屬性的屬性值進(jìn)行聚合計(jì)算生成數(shù)據(jù)簇。

接收到每條數(shù)據(jù)時(shí)進(jìn)行聚合運(yùn)算，每接收一條數(shù)據(jù)，僅需做M次聚合運(yùn)算，降低了聚合運(yùn)算的計(jì)算量，節(jié)省了數(shù)據(jù)庫系統(tǒng)的計(jì)算資源，進(jìn)一步提高了查詢的實(shí)時(shí)性。