[發(fā)明專利]事務(wù)處理方法、裝置、計(jì)算設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202111305207.6
• 申請(qǐng)日: 2021-11-05
• 公開(kāi)（公告）號(hào): CN115114344B
• 公開(kāi)（公告）日: 2023-06-23
• 發(fā)明（設(shè)計(jì)）人: 熊亮春;潘安群;韓碩
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06F16/2458
• 分類號(hào): G06F16/2458;G06F16/25;G06F16/27;G06F16/21
• 代理公司: 北京三高永信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 李文靜

1.一種事務(wù)處理方法，其特征在于，應(yīng)用于混合交易/分析HTAP系統(tǒng)，所述HTAP系統(tǒng)包括在線交易處理OLTP集群、在線分析處理OLAP集群和存儲(chǔ)集群，所述OLTP集群用于處理交易型事務(wù)，所述OLAP集群用于處理分析型事務(wù)；其中，所述交易型事務(wù)在提交完成的時(shí)刻生成當(dāng)前態(tài)數(shù)據(jù)和歷史態(tài)數(shù)據(jù)，所述當(dāng)前態(tài)數(shù)據(jù)存儲(chǔ)于所述OLTP集群中，所述歷史態(tài)數(shù)據(jù)在轉(zhuǎn)儲(chǔ)到所述存儲(chǔ)集群后被所述OLTP集群刪除；其中，所述存儲(chǔ)集群中每份數(shù)據(jù)都具有一個(gè)一組主從副本和一個(gè)用于提供歷史態(tài)數(shù)據(jù)的轉(zhuǎn)儲(chǔ)功能的實(shí)時(shí)分析從副本，所述實(shí)時(shí)分析從副本不參與所述一組主從副本的主副本選舉流程，所述實(shí)時(shí)分析從副本與所述一組主從副本中的主副本或從副本之間通過(guò)一致性協(xié)議進(jìn)行日志的追趕，以使所述實(shí)時(shí)分析從副本獲取所述主副本上所有版本的所有數(shù)據(jù)；

所述方法由所述OLAP集群中的任一計(jì)算設(shè)備執(zhí)行，包括：

確定任一分析型事務(wù)的數(shù)據(jù)查詢條件、分析語(yǔ)義和查詢時(shí)間段；

從所述查詢時(shí)間段中確定第一時(shí)刻，所述第一時(shí)刻為將符合所述數(shù)據(jù)查詢條件的歷史態(tài)數(shù)據(jù)最近一次完成轉(zhuǎn)儲(chǔ)到所述存儲(chǔ)集群的時(shí)刻；

查詢是否緩存對(duì)第二時(shí)刻可見(jiàn)的第一歷史態(tài)數(shù)據(jù)的中間分析結(jié)果，所述第二時(shí)刻為所述查詢時(shí)間段的開(kāi)始時(shí)刻到所述第一時(shí)刻之間的任一時(shí)刻；

在已緩存所述中間分析結(jié)果的情況下，將所述中間分析結(jié)果確定為最近的一次全量分析結(jié)果；在未緩存所述中間分析結(jié)果的情況下，基于所述分析語(yǔ)義，生成對(duì)所述第一時(shí)刻可見(jiàn)的第二歷史態(tài)數(shù)據(jù)的全量分析結(jié)果；

基于從所述第一時(shí)刻起至所述查詢時(shí)間段的結(jié)束時(shí)刻之間在所述歷史態(tài)數(shù)據(jù)對(duì)應(yīng)的當(dāng)前態(tài)數(shù)據(jù)上發(fā)生的變更，從所述OLTP集群中獲取所述變更產(chǎn)生的日志，對(duì)所述變更產(chǎn)生的日志進(jìn)行回放，獲取所述變更得到的數(shù)據(jù)；

比較主鍵標(biāo)識(shí)相同的歷史態(tài)數(shù)據(jù)和變更得到的數(shù)據(jù)，確定發(fā)生變更的字段；

如果所述數(shù)據(jù)查詢條件不涉及所述發(fā)生變更的字段，跳過(guò)具有所述主鍵標(biāo)識(shí)的數(shù)據(jù)；如果所述數(shù)據(jù)查詢條件涉及所述發(fā)生變更的字段，對(duì)所述第一時(shí)刻之后變更得到的數(shù)據(jù)，計(jì)算增量分析結(jié)果；

將所述全量分析結(jié)果和所述增量分析結(jié)果結(jié)合，獲取所述分析型事務(wù)的目標(biāo)分析結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述生成對(duì)所述第一時(shí)刻可見(jiàn)的第二歷史態(tài)數(shù)據(jù)的所述全量分析結(jié)果包括：

確定所述第二歷史態(tài)數(shù)據(jù)的冷熱等級(jí)，所述冷熱等級(jí)用于表征在目標(biāo)時(shí)間段內(nèi)對(duì)在所述第二歷史態(tài)數(shù)據(jù)上發(fā)生操作的頻繁程度；

從所述存儲(chǔ)集群中與所述冷熱等級(jí)對(duì)應(yīng)的存儲(chǔ)設(shè)備中，讀取所述第二歷史態(tài)數(shù)據(jù)；

基于所述分析語(yǔ)義，對(duì)所述第二歷史態(tài)數(shù)據(jù)進(jìn)行處理，得到所述全量分析結(jié)果。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述確定所述第二歷史態(tài)數(shù)據(jù)的冷熱等級(jí)包括：

獲取所述目標(biāo)時(shí)間段內(nèi)對(duì)所述第二歷史態(tài)數(shù)據(jù)的訪問(wèn)次數(shù)；

獲取所述目標(biāo)時(shí)間段內(nèi)對(duì)所述第二歷史態(tài)數(shù)據(jù)對(duì)應(yīng)的當(dāng)前態(tài)數(shù)據(jù)的修改次數(shù)；

基于所述訪問(wèn)次數(shù)和所述修改次數(shù)，確定所述冷熱等級(jí)。

4.根據(jù)權(quán)利要求2或3所述的方法，其特征在于，冷熱等級(jí)不同的歷史態(tài)數(shù)據(jù)存儲(chǔ)在所述存儲(chǔ)集群中不同的存儲(chǔ)設(shè)備或者同一存儲(chǔ)設(shè)備的不同存儲(chǔ)介質(zhì)中。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

當(dāng)所述分析型事務(wù)未指定所述查詢時(shí)間段的開(kāi)始時(shí)刻時(shí)，將符合所述數(shù)據(jù)查詢條件的數(shù)據(jù)的最新版本的生效時(shí)刻確定為所述開(kāi)始時(shí)刻；

當(dāng)所述分析型事務(wù)未指定所述查詢時(shí)間段的結(jié)束時(shí)刻時(shí)，將當(dāng)前時(shí)刻之前距離所述當(dāng)前時(shí)刻達(dá)到實(shí)時(shí)程度參數(shù)的時(shí)刻確定為所述結(jié)束時(shí)刻，所述實(shí)時(shí)程度參數(shù)用于表征數(shù)據(jù)庫(kù)系統(tǒng)內(nèi)的分析型事務(wù)處理的數(shù)據(jù)所支持的最大延時(shí)。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

從所述結(jié)束時(shí)刻開(kāi)始，每間隔第一目標(biāo)時(shí)長(zhǎng)，獲取一次所述第一目標(biāo)時(shí)長(zhǎng)內(nèi)發(fā)生變更的目標(biāo)增量分析結(jié)果；

緩存獲取到的各個(gè)目標(biāo)增量分析結(jié)果。