[發明專利]一種基于Redis的海量數據分類存儲方法及系統

有效

• 申請號: 202110602830.1
• 申請日: 2021-05-31
• 公開（公告）號: CN113297224B
• 公開（公告）日: 2022-06-28
• 發明（設計）人: 周單健;盛猛;林立
• 申請（專利權）人: 上海艾麒信息科技股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F11/10
• 代理公司: 上海段和段律師事務所 31334
• 代理人: 李佳俊;郭國中

1.一種基于Redis的海量數據分類存儲方法，其特征在于，包括：

步驟S1：將數據分類，并為每一個類別數據定義一個數據類別ID；

步驟S2：針對每一種數據類別，根據對應的實際業務的數據規模，計算hash桶的數量N；

步驟S3：將數據標識ID、數據類別ID以及數據桶的數量N作為入參因子，進行hash計算，得到hash key以及field；

步驟S4：將數據標識ID對應的數據內容作為hash value；

步驟S5：將hash key、field以及hash value存儲至redis中；

所述步驟S3中hash key包括：分別將數據標識ID、數據類型ID以及數據桶的數量N作為因子，使用hash算法A，計算出整數型的散列結果A，并將整數型的散列結果A作為redis的hash數據類型的hash key；

所述hash算法A是利用CRC32算法對數據標識ID進行分散計算后，再對hash桶數量進行求余計算，實現把不同的用戶數據的key盡可能均勻的保存到不同的數據桶中；

所述整數型的散列結果A包括：

整數型的散列結果A＝數據類別ID*數據桶的數量N+數據標識ID’；

所述數據標識ID’為通過對數據標識ID進行CRC算法計算后，再對hash桶數量求余；

所述步驟S3中field包括：將數據標識ID作為唯一因子，通過hash算法B計算出整數型的散列結果B；將散列結果B作為hash key的field；

所述hash算法B是利用BKDRHash算法對數據標識ID進行hash計算得到一個低碰撞的整數，使得保存到同一個數據桶中的不同用戶數據的field不一樣；

所述整數型的散列結果B利用BKDRHash算法對數據標識ID進行hash計算得到。

2.根據權利要求1所述的基于Redis的海量數據分類存儲方法，其特征在于，所述步驟S2包括：

N＝總數據量/512，N向上取整。

3.根據權利要求1所述的基于Redis的海量數據分類存儲方法，其特征在于，還包括讀取基于Redis分類存儲的海量數據；

所述讀取基于Redis分類存儲的海量數據包括：根據數據標識ID、數據類別ID以及數據類別對應的hash桶數據量N作為入參因子，進行hash計算，得到hash key以及field；以hashkey和field入參，通過redis hash的hget命令從redis中讀出hash value數據標識ID對應的數據內容。