[發(fā)明專利]數(shù)據(jù)處理方法、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201911403255.1
• 申請日: 2019-12-30
• 公開（公告）號: CN111143373A
• 公開（公告）日: 2020-05-12
• 發(fā)明（設(shè)計）人: 吳良順
• 申請（專利權(quán)）人: 卓爾智聯(lián)（武漢）研究院有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2455
• 代理公司: 北京派特恩知識產(chǎn)權(quán)代理有限公司 11270
• 代理人: 任曉;張穎玲

1.一種數(shù)據(jù)處理方法，其特征在于，包括：

針對待存儲數(shù)據(jù)的所有字段中的每個字段，分別確定出每個字段對應(yīng)的基數(shù)；所述基數(shù)表征對應(yīng)的字段中出現(xiàn)字段值相同的數(shù)據(jù)的概率；所述基數(shù)隨著所述概率的增大而減小；

在所有字段中的每個字段對應(yīng)的基數(shù)中，確定第一基數(shù)；所述第一基數(shù)大于第一設(shè)定值；

基于所述第一基數(shù)確定片鍵；所述片鍵中包括至少一個所述第一基數(shù)對應(yīng)的字段；

根據(jù)確定出的片鍵，將所述待存儲數(shù)據(jù)存儲至對應(yīng)的數(shù)據(jù)塊。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述第一基數(shù)確定片鍵，包括：

在所有字段中的每個字段對應(yīng)的基數(shù)中，確定第二基數(shù)；所述第二基數(shù)小于第二設(shè)定值；所述第一設(shè)定值大于所述第二設(shè)定值；

選取至少一個第一字段；所述第一字段為所述第一基數(shù)對應(yīng)的字段；

選取至少一個第二字段；所述第二字段為所述第二基數(shù)對應(yīng)的字段；

根據(jù)所述至少一個第一字段和所述至少一個第二字段，生成所述片鍵。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述第二基數(shù)對應(yīng)的字段中，字段值單調(diào)變化，所述方法還包括：

確定第一片鍵；所述第一片鍵為當前存入數(shù)據(jù)的數(shù)據(jù)塊對應(yīng)的片鍵；

確定第二片鍵；所述第二片鍵為當前存有數(shù)據(jù)的數(shù)據(jù)塊對應(yīng)的片鍵；

在所述第二片鍵中確定出第三片鍵；所述第三片鍵中的第二字段與所述第一片鍵中的第二字段不同；

刪除所述第三片鍵對應(yīng)的數(shù)據(jù)塊中的數(shù)據(jù)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

分別確定每個分片的相關(guān)參數(shù)；所述相關(guān)參數(shù)包括分片的數(shù)據(jù)塊數(shù)量；

根據(jù)確定出的每個分片的相關(guān)參數(shù)，在所有分片中確定出源分片；

將所述源分片中的數(shù)據(jù)遷移至目標分片；所述目標分片從所有分片中除所述源分片之外的分片中確定出。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述在所有分片中確定出源分片，包括：

確定第一分片；所述第一分片為數(shù)據(jù)塊數(shù)量最多的分片；

確定第二分片；所述第二分片為數(shù)據(jù)塊數(shù)量最少的分片；

在所述第一分片與所二分片的數(shù)據(jù)塊數(shù)量差大于第三設(shè)定值的情況下，將所述第一分片確定為所述源分片。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述在所有分片中確定出源分片，還包括：

在所述第一分片與所二分片的數(shù)據(jù)塊數(shù)量差小于或等于所述第三設(shè)定值的情況下，檢測是否存在第三分片；所述第三分片為剩余存儲空間小于第四設(shè)定值的分片；

在存在所述第三分片的情況下，選取至少一個所述第三分片作為所述源分片。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述在所有分片中確定出源分片，還包括：

在不存在所述第三分片的情況下，檢測是否存在第四分片；所述第四分片的負載與所有分片的平均負載之間的差值大于第五設(shè)定值；

在存在所述第四分片的情況下，選取至少一個所述第四分片作為所述源分片。

8.一種數(shù)據(jù)處理裝置，其特征在于，所述裝置包括：

第一確定單元，用于針對待存儲數(shù)據(jù)的所有字段中的每個字段，分別確定出每個字段對應(yīng)的基數(shù)；所述基數(shù)表征對應(yīng)的字段中出現(xiàn)字段值相同的數(shù)據(jù)的概率；所述基數(shù)隨著所述概率的增大而減小；

第二確定單元，用于在所有字段中的每個字段對應(yīng)的基數(shù)中，確定第一基數(shù)；所述第一基數(shù)大于第一設(shè)定值；

第三確定單元，用于基于所述第一基數(shù)確定片鍵；所述片鍵中包括至少一個所述第一基數(shù)對應(yīng)的字段；

存儲單元，用于根據(jù)確定出的片鍵，將所述待存儲數(shù)據(jù)存儲至對應(yīng)的數(shù)據(jù)塊。

9.一種電子設(shè)備，其特征在于，包括：處理器和用于存儲能夠在處理器上運行的計算機程序的存儲器，

其中，所述處理器用于運行所述計算機程序時，執(zhí)行權(quán)利要求1至7任一項所述方法的步驟。

10.一種存儲介質(zhì)，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1至7任一項所述方法的步驟。