[發(fā)明專利]基于分布式數(shù)據(jù)庫的數(shù)據(jù)處理方法、裝置、設(shè)備和介質(zhì)

在審

• 申請?zhí)枺?/td>: 202310219421.2
• 申請日: 2023-03-01
• 公開（公告）號: CN116226150A
• 公開（公告）日: 2023-06-06
• 發(fā)明（設(shè)計）人: 呂虎;張恒;薛羽;楊紅強
• 申請（專利權(quán)）人: 中國農(nóng)業(yè)銀行股份有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/22;G06F16/27
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 馬迪

1.一種基于分布式數(shù)據(jù)庫的數(shù)據(jù)處理方法，其特征在于，包括：

根據(jù)原始數(shù)據(jù)表的各數(shù)據(jù)表分區(qū)對應(yīng)的候選文件分片，確定所述原始數(shù)據(jù)表對應(yīng)的數(shù)據(jù)索引表；

當(dāng)獲取到數(shù)據(jù)記錄存儲請求時，根據(jù)所述數(shù)據(jù)記錄存儲請求確定待存儲數(shù)據(jù)記錄的待存儲主鍵，并根據(jù)所述待存儲主鍵和所述數(shù)據(jù)索引表的索引表主鍵，確定所述數(shù)據(jù)索引表中是否存儲有待存儲數(shù)據(jù)記錄的目標歷史數(shù)據(jù)記錄；

若否，則控制前端服務(wù)器在數(shù)據(jù)插入內(nèi)存區(qū)設(shè)置待存儲文件分片，并將所述待存儲數(shù)據(jù)記錄存入所述待存儲文件分片中，確定待更新文件分片，且在檢測到所述待存儲數(shù)據(jù)記錄存儲完成后，從所述前端服務(wù)器獲取所述待更新文件分片，將所述待更新文件分片存入所述數(shù)據(jù)索引表；

若是，則根據(jù)所述待存儲數(shù)據(jù)記錄對所述目標歷史數(shù)據(jù)記錄進行更新。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，將所述待更新文件分片存入所述數(shù)據(jù)索引表，包括：

對所述待更新文件分片進行列式轉(zhuǎn)換，若所述待更新文件分片的更新分片內(nèi)存大于或等于分片內(nèi)存閾值，則對列式轉(zhuǎn)換后的待更新文件分片進行壓縮處理，確定更新列式文件，并將所述更新列式文件存入所述數(shù)據(jù)索引表；

若所述更新分片內(nèi)存小于分片內(nèi)存閾值，則將列式轉(zhuǎn)換后的待更新文件分片存入所述數(shù)據(jù)索引表。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，控制前端服務(wù)器在數(shù)據(jù)插入內(nèi)存區(qū)設(shè)置待存儲文件分片，包括：

確定剩余分片內(nèi)存最大的候選文件分片為目標文件分片，若所述目標文件分片的剩余分片內(nèi)存大于剩余內(nèi)存閾值，則將所述目標文件分片發(fā)送至前端服務(wù)器，并控制所述前端服務(wù)器在數(shù)據(jù)插入內(nèi)存區(qū)將所述目標文件分片設(shè)置為待存儲文件分片；

若所述目標文件分片的剩余分片內(nèi)存小于或等于所述剩余內(nèi)存閾值，則控制前端服務(wù)器在數(shù)據(jù)插入內(nèi)存區(qū)新建待存儲文件分片。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)原始數(shù)據(jù)表的各數(shù)據(jù)表分區(qū)對應(yīng)的候選文件分片，確定所述原始數(shù)據(jù)表對應(yīng)的數(shù)據(jù)索引表，包括：

根據(jù)原始數(shù)據(jù)表中的原始表主鍵，對所述原始數(shù)據(jù)表進行預(yù)分區(qū)，獲取至少兩個數(shù)據(jù)表分區(qū)；

基于預(yù)設(shè)的分片參數(shù)對各數(shù)據(jù)表分區(qū)進行分片處理，確定各數(shù)據(jù)表分區(qū)對應(yīng)的候選文件分片，并對所述候選文件分片進行列式轉(zhuǎn)換和壓縮處理，確定列式壓縮文件；

建立初始索引表，并將所述列式壓縮文件存儲在初始索引表中，確定數(shù)據(jù)索引表；所述數(shù)據(jù)索引表的索引表主鍵為原始表主鍵。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述待存儲數(shù)據(jù)記錄對所述目標歷史數(shù)據(jù)記錄進行更新，包括：

從所述候選文件分片中確定所述目標歷史數(shù)據(jù)記錄對應(yīng)的目標文件分片，并將所述目標文件分片和所述待存儲數(shù)據(jù)記錄發(fā)送至所述前端服務(wù)器的數(shù)據(jù)修改內(nèi)存區(qū)，以使所述前端服務(wù)器根據(jù)所述待存儲數(shù)據(jù)記錄在所述數(shù)據(jù)修改內(nèi)存區(qū)對所述目標文件分片進行修改；

獲取所述前端服務(wù)器反饋的修改后的目標文件分片，并根據(jù)修改后的目標文件分片對所述目標歷史數(shù)據(jù)記錄進行更新。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，包括：

當(dāng)獲取到數(shù)據(jù)記錄刪除請求時，根據(jù)所述數(shù)據(jù)記錄刪除請求確定待刪除數(shù)據(jù)記錄的待刪除主鍵，并根據(jù)所述待刪除主鍵和所述數(shù)據(jù)索引表的索引表主鍵，從所述數(shù)據(jù)索引表中確定待刪除數(shù)據(jù)記錄；

從所述數(shù)據(jù)索引表中刪除所述待刪除數(shù)據(jù)記錄。