[發(fā)明專利]一種數(shù)據(jù)存儲(chǔ)方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010522791.X
• 申請(qǐng)日: 2020-06-10
• 公開(kāi)（公告）號(hào): CN113779014A
• 公開(kāi)（公告）日: 2021-12-10
• 發(fā)明（設(shè)計(jì)）人: 李潤(rùn)輝;張文輝
• 申請(qǐng)（專利權(quán)）人: 深信服科技股份有限公司
• 主分類號(hào): G06F16/22
• 分類號(hào): G06F16/22;G06F16/23
• 代理公司: 北京派特恩知識(shí)產(chǎn)權(quán)代理有限公司 11270
• 代理人: 王軍紅;張穎玲

本發(fā)明實(shí)施例提出了一種數(shù)據(jù)存儲(chǔ)方法、裝置、電子設(shè)備和計(jì)算機(jī)存儲(chǔ)介質(zhì)，所述方法包括：按照前綴拆分?jǐn)?shù)據(jù)庫(kù)中包含至少兩種不同前綴的數(shù)據(jù)文件，得到至少兩個(gè)拆分后的數(shù)據(jù)文件，其中，每個(gè)拆分后的數(shù)據(jù)文件對(duì)應(yīng)所述至少兩種不同前綴中的一種前綴，所述數(shù)據(jù)文件為按照鍵進(jìn)行排序的文件，對(duì)所述至少兩個(gè)拆分后的數(shù)據(jù)文件進(jìn)行數(shù)據(jù)處理；由于拆分后的數(shù)據(jù)文件只對(duì)應(yīng)一種前綴，不存在對(duì)應(yīng)至少兩個(gè)前綴的數(shù)據(jù)文件，因此，在對(duì)數(shù)據(jù)文件進(jìn)行處理時(shí)，可以直接按照前綴對(duì)相應(yīng)的數(shù)據(jù)文件進(jìn)行處理，降低了數(shù)據(jù)處理時(shí)的開(kāi)銷。

技術(shù)領(lǐng)域

本發(fā)明涉及信息技術(shù)，尤其涉及一種數(shù)據(jù)存儲(chǔ)方法、裝置、電子設(shè)備和計(jì)算機(jī)存儲(chǔ)介質(zhì)。

背景技術(shù)

在相關(guān)技術(shù)中，在數(shù)據(jù)存儲(chǔ)領(lǐng)域，當(dāng)上層業(yè)務(wù)對(duì)數(shù)據(jù)進(jìn)行分片操作時(shí)，由于RocksDB數(shù)據(jù)庫(kù)的排序列隊(duì)表(Sorted Sequence Table，SST)文件中的數(shù)據(jù)是按照鍵的排序以及鍵值大小進(jìn)行有序存儲(chǔ)的，這將會(huì)導(dǎo)致某些SST文件中，存在多個(gè)數(shù)據(jù)分片中的數(shù)據(jù)，在對(duì)這些存在多個(gè)數(shù)據(jù)分片的SST文件進(jìn)行數(shù)據(jù)分片操作時(shí)，無(wú)法對(duì)需要處理的數(shù)據(jù)分片直接進(jìn)行處理。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種數(shù)據(jù)存儲(chǔ)方法、裝置、電子設(shè)備和計(jì)算機(jī)存儲(chǔ)介質(zhì)，可以解決某些SST文件中存在多個(gè)數(shù)據(jù)片中的數(shù)據(jù)，在進(jìn)行數(shù)據(jù)片操作時(shí)開(kāi)銷較大的問(wèn)題。

本發(fā)明實(shí)施例提供了一種數(shù)據(jù)存儲(chǔ)方法，所述方法包括：

按照前綴拆分?jǐn)?shù)據(jù)庫(kù)中包含至少兩種不同前綴的數(shù)據(jù)文件，得到至少兩個(gè)拆分后的數(shù)據(jù)文件，其中，每個(gè)拆分后的數(shù)據(jù)文件對(duì)應(yīng)所述至少兩種不同前綴中的一種前綴，所述數(shù)據(jù)文件為按照鍵進(jìn)行排序的文件；

對(duì)所述至少兩個(gè)拆分后的數(shù)據(jù)文件進(jìn)行數(shù)據(jù)處理。

可選地，所述按照前綴拆分?jǐn)?shù)據(jù)庫(kù)中至少包含至少兩種不同前綴的數(shù)據(jù)文件，得到至少兩個(gè)拆分后的數(shù)據(jù)文件，包括：

將所述包含至少兩種不同前綴的數(shù)據(jù)文件，按照所述至少兩種不同前綴的順序拆分為有序排列的所述至少兩個(gè)拆分后的數(shù)據(jù)文件。

可選地，所述對(duì)所述至少兩個(gè)拆分后的數(shù)據(jù)文件進(jìn)行數(shù)據(jù)處理，包括：對(duì)所述至少兩個(gè)拆分后的數(shù)據(jù)文件中的至少一個(gè)數(shù)據(jù)文件進(jìn)行數(shù)據(jù)刪除，和/或，針對(duì)所述至少兩個(gè)拆分后的數(shù)據(jù)文件進(jìn)行數(shù)據(jù)插入。

可選地，所述對(duì)所述至少兩個(gè)拆分后的數(shù)據(jù)文件中的至少一個(gè)數(shù)據(jù)文件進(jìn)行數(shù)據(jù)刪除，包括：

接收到包含第一前綴的數(shù)據(jù)刪除指令，且所述第一前綴包含所述至少連個(gè)拆分后的數(shù)據(jù)文件中的至少一個(gè)數(shù)據(jù)文件的前綴時(shí)，在所述至少兩個(gè)拆分后的數(shù)據(jù)文件中刪除與所述第一前綴對(duì)應(yīng)的數(shù)據(jù)文件。

可選地，所述針對(duì)所述至少兩個(gè)拆分后的數(shù)據(jù)文件進(jìn)行數(shù)據(jù)插入，包括：

接收到包含待插入數(shù)據(jù)文件的數(shù)據(jù)插入指令，且所述待插入數(shù)據(jù)文件包含第二前綴時(shí)，根據(jù)所述第二前綴確定數(shù)據(jù)插入位置，在確定的所述插入位置插入所述待插入數(shù)據(jù)文件。

可選地，所述根據(jù)所述第二前綴確定數(shù)據(jù)插入位置，包括：

根據(jù)所述第二前綴、以及所述至少兩個(gè)拆分后的數(shù)據(jù)文件的前綴順序，確定數(shù)據(jù)插入位置。

可選地，所述數(shù)據(jù)文件是SST文件。

本發(fā)明實(shí)施例還提供了一種數(shù)據(jù)存儲(chǔ)裝置，所述裝置包括：拆分模塊和處理模塊，其中，

拆分模塊，用于按照前綴拆分?jǐn)?shù)據(jù)庫(kù)中包含至少兩種不同前綴的數(shù)據(jù)文件，得到至少兩個(gè)拆分后的數(shù)據(jù)文件，其中，每個(gè)拆分后的數(shù)據(jù)文件對(duì)應(yīng)所述至少兩種不同前綴中的一種前綴，所述數(shù)據(jù)文件是為指按照鍵進(jìn)行排序的文件；

處理模塊，用于對(duì)所述至少兩個(gè)拆分后的數(shù)據(jù)文件進(jìn)行數(shù)據(jù)處理。