[發(fā)明專利]一種保障計算數(shù)據(jù)一致性的處理方法、裝置及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201610515844.9
• 申請日: 2016-07-01
• 公開（公告）號: CN106909598B
• 公開（公告）日: 2020-10-13
• 發(fā)明（設(shè)計）人: 祁建程;張銳;梁麗;王森
• 申請（專利權(quán)）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23
• 代理公司: 北京三友知識產(chǎn)權(quán)代理有限公司 11127
• 代理人: 李輝

1.一種保障計算數(shù)據(jù)一致性的處理方法，其特征在于，所述方法包括：

讀取離線數(shù)據(jù)庫中的離線數(shù)據(jù)，根據(jù)所述離線數(shù)據(jù)的存儲統(tǒng)計時間確定所述離線數(shù)據(jù)同步延遲的延遲時間；

從預(yù)先設(shè)置的實時流計算結(jié)果數(shù)據(jù)庫中讀取當(dāng)前統(tǒng)計時間的實時數(shù)據(jù)，并讀取出與所述延遲時間相對應(yīng)的實時數(shù)據(jù)作為業(yè)務(wù)計算的補償數(shù)據(jù)；其中，所述實時流計算結(jié)果數(shù)據(jù)庫被設(shè)置成存儲采用下述方式得到數(shù)據(jù)：讀取業(yè)務(wù)源數(shù)據(jù)庫的業(yè)務(wù)統(tǒng)計數(shù)據(jù)，獲取所述業(yè)務(wù)的變更數(shù)據(jù)；根據(jù)設(shè)置在所述變更數(shù)據(jù)中靜態(tài)屬性字段訪問相應(yīng)的數(shù)據(jù)單元，根據(jù)訪問結(jié)果對對所述變更數(shù)據(jù)進(jìn)行流式計算，得到實時的流式計算結(jié)果數(shù)據(jù)；存儲所述實時的流式計算結(jié)果數(shù)據(jù)；

基于所述離線數(shù)據(jù)、實時數(shù)據(jù)和補償數(shù)據(jù)執(zhí)行業(yè)務(wù)計算。

2.如權(quán)利要求1所述的一種保障計算數(shù)據(jù)一致性的處理方法，其特征在于，所述離線數(shù)據(jù)庫與所述實時流計算結(jié)果數(shù)據(jù)庫分別被設(shè)置成，包括：

所述離線數(shù)據(jù)庫與所述實時流計算結(jié)果數(shù)據(jù)庫采用分區(qū)存儲的方式存儲數(shù)據(jù)，且所述實時流計算結(jié)果數(shù)據(jù)庫中的指定實時數(shù)據(jù)表至少存一個數(shù)據(jù)同步周期的實時數(shù)據(jù)。

3.如權(quán)利要求1至2中任意一項所述的一種保障計算數(shù)據(jù)一致性的處理方法，其特征在于，所述根據(jù)所述離線數(shù)據(jù)、實時數(shù)據(jù)和補償數(shù)據(jù)執(zhí)行業(yè)務(wù)計算，包括：

判斷進(jìn)行業(yè)務(wù)計算的業(yè)務(wù)數(shù)據(jù)所屬的數(shù)據(jù)類型，采用與所數(shù)據(jù)類型對應(yīng)的數(shù)據(jù)融合計算方式進(jìn)行業(yè)務(wù)計算。

4.如權(quán)利要求3所述的一種保障計算數(shù)據(jù)一致性的處理方法，其特征在于，所述判斷進(jìn)行業(yè)務(wù)計算的業(yè)務(wù)數(shù)據(jù)所屬的數(shù)據(jù)類型，包括：

確定需要進(jìn)行業(yè)務(wù)計算的業(yè)務(wù)數(shù)據(jù)在所述離線數(shù)據(jù)庫和實時流計算結(jié)果數(shù)據(jù)庫中的數(shù)據(jù)表，根據(jù)所述業(yè)務(wù)數(shù)據(jù)所在的數(shù)據(jù)表的信息判斷出所述業(yè)務(wù)數(shù)據(jù)屬于的預(yù)先劃分的數(shù)據(jù)類型；

所述預(yù)先劃分的數(shù)據(jù)類型包括：歷史產(chǎn)生且無變更的第一數(shù)據(jù)類型、當(dāng)前統(tǒng)計時間實時新增的第二數(shù)據(jù)類型、歷史產(chǎn)生且實時發(fā)生變更的第三數(shù)據(jù)類型。

5.如權(quán)利要求4所述的一種保障計算數(shù)據(jù)一致性的處理方法，其特征在于，所述融合計算方式包括：

當(dāng)判斷業(yè)務(wù)計算的當(dāng)前業(yè)務(wù)數(shù)據(jù)為第一數(shù)據(jù)類型時，根據(jù)離線數(shù)據(jù)和補償數(shù)據(jù)獲取所述當(dāng)前業(yè)務(wù)數(shù)據(jù)的第一計算結(jié)果；

當(dāng)判斷業(yè)務(wù)計算的當(dāng)前業(yè)務(wù)數(shù)據(jù)為第二數(shù)據(jù)類型時，根據(jù)實時數(shù)據(jù)獲取所述當(dāng)前業(yè)務(wù)數(shù)據(jù)的第二計算結(jié)果；

當(dāng)判斷業(yè)務(wù)計算的當(dāng)前業(yè)務(wù)數(shù)據(jù)為第三數(shù)據(jù)類型時，將根據(jù)離線數(shù)據(jù)和補償數(shù)據(jù)獲取的第一計算結(jié)果、根據(jù)實時數(shù)據(jù)獲取的第二計算結(jié)果合并計算得到當(dāng)前業(yè)務(wù)數(shù)據(jù)的計算結(jié)果。

6.一種保障計算數(shù)據(jù)一致性的處理裝置，其特征在于，所述裝置包括：

延遲判斷模塊，用于讀取離線數(shù)據(jù)庫中的離線數(shù)據(jù)，根據(jù)所述離線數(shù)據(jù)的存儲統(tǒng)計時間確定所述離線數(shù)據(jù)同步延遲的延遲時間；

數(shù)據(jù)補償模塊，用于從預(yù)先設(shè)置的實時流計算結(jié)果數(shù)據(jù)庫中讀取當(dāng)前統(tǒng)計時間的實時數(shù)據(jù)，并讀取出與所述延遲時間相對應(yīng)的實時數(shù)據(jù)作為業(yè)務(wù)計算的補償數(shù)據(jù)；其中，所述實時流計算結(jié)果數(shù)據(jù)庫被設(shè)置成存儲采用下述方式得到數(shù)據(jù)：讀取業(yè)務(wù)源數(shù)據(jù)庫的業(yè)務(wù)統(tǒng)計數(shù)據(jù)，獲取所述業(yè)務(wù)的變更數(shù)據(jù)；根據(jù)設(shè)置在所述變更數(shù)據(jù)中靜態(tài)屬性字段訪問相應(yīng)的數(shù)據(jù)單元，根據(jù)訪問結(jié)果對對所述變更數(shù)據(jù)進(jìn)行流式計算，得到實時的流式計算結(jié)果數(shù)據(jù)；存儲所述實時的流式計算結(jié)果數(shù)據(jù)；

業(yè)務(wù)計算模塊，用于基于所述離線數(shù)據(jù)、實時數(shù)據(jù)和補償數(shù)據(jù)執(zhí)行業(yè)務(wù)計算。

7.如權(quán)利要求6所述的一種保障計算數(shù)據(jù)一致性的處理裝置，其特征在于，所述離線數(shù)據(jù)庫與所述實時流計算結(jié)果數(shù)據(jù)庫分別被設(shè)置成，包括：

所述離線數(shù)據(jù)庫與所述實時流計算結(jié)果數(shù)據(jù)庫采用分區(qū)存儲的方式存儲數(shù)據(jù)，且所述分區(qū)存儲離線數(shù)據(jù)庫中的指定實時數(shù)據(jù)表至少存一個數(shù)據(jù)同步周期的實時數(shù)據(jù)。

8.如權(quán)利要求6至7中任意一項所述的一種保障計算數(shù)據(jù)一致性的處理裝置，其特征在于，所述業(yè)務(wù)計算模塊包括：

類型判斷模塊，用于判斷進(jìn)行業(yè)務(wù)計算的業(yè)務(wù)數(shù)據(jù)所屬的數(shù)據(jù)類型；

融合計算模塊，用于采用與所數(shù)據(jù)類型對應(yīng)的數(shù)據(jù)融合計算方式進(jìn)行業(yè)務(wù)計算。