[發明專利]一種冷熱數據分離方法、裝置及其設備

在審

• 申請號: 202110328334.1
• 申請日: 2021-03-26
• 公開（公告）號: CN113051271A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 高文浩;李濤
• 申請（專利權）人: 鄭州阿帕斯數云信息科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/28;G06F9/54
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 許振新

1.一種冷熱數據分離方法，其特征在于，包括：

將目標業務的數據寫入MySQL數據庫；

在所述目標業務的數據被寫入MySQL數據庫之后，將所述目標業務的數據異步發送至HBASE數據庫的指定消息隊列；

根據預設的冷數據定義，從所述MySQL數據庫中刪除所述目標業務的冷數據，所述冷數據為所述目標業務的數據中時效性需求小于設定閾值的數據，以使得所述MySQL數據庫中存儲的數據為時效性需求大于或等于所述設定閾值的熱數據；

按照預設的數據格式重組從所述指定消息隊列中獲取的數據，得到具備指定前綴的重組數據，并將具備所述指定前綴的重組數據寫入所述HBASE數據庫，以使得所述HBASE數據庫中存儲的數據為所述目標業務的全量數據，所述指定前綴中包含具備所述指定前綴的重組數據對應的業務標識。

2.如權利要求1所述的方法，其特征在于，將具備所述指定前綴的重組數據寫入所述HBASE數據庫之后，所述方法還包括：

獲取針對所述目標業務的數據的查詢請求，所述查詢請求中包含對所述目標業務的數據的查詢類別；

基于所述查詢請求中的查詢類別確定所述查詢請求的時效性需求；

根據所述查詢請求的時效性需求，從所述MySQL數據庫和所述HBASE數據庫中確定優先查詢的數據庫。

3.如權利要求2所述的方法，其特征在于，根據所述查詢請求的時效性需求，從所述MySQL數據庫和所述HBASE數據庫中確定優先查詢的數據庫，包括：

如果所述查詢請求的時效性需求大于或等于所述設定閾值，則優先從所述MySQL數據庫中獲取與所述查詢請求中的關鍵詞相匹配的數據；

如果所述查詢請求的時效性需求小于所述設定閾值，則優先從所述HBASE數據庫中獲取與所述查詢請求中的關鍵詞相匹配的數據。

4.如權利要求3所述的方法，其特征在于，優先從所述MySQL數據庫中獲取與所述查詢請求中的關鍵詞相匹配的數據，包括：

如果所述MySQL數據庫中不存在與所述查詢請求中的關鍵詞相匹配的數據，則從所述HBASE數據庫中獲取與所述查詢請求中的關鍵詞相匹配的數據；

如果所述MySQL數據庫中存在與所述查詢請求中的關鍵詞相匹配的數據，則從所述MySQL數據庫中獲取與所述查詢請求中的關鍵詞相匹配的數據。

5.如權利要求3所述的方法，其特征在于，優先從所述HBASE數據庫中獲取與所述查詢請求中的關鍵詞相匹配的數據，包括：

如果所述HBASE數據庫中不存在與所述查詢請求中的關鍵詞相匹配的數據，則從所述MySQL數據庫中獲取與所述查詢請求中的關鍵詞相匹配的數據；

如果所述HBASE數據庫中存在與所述查詢請求中的關鍵詞相匹配的數據，則從所述HBASE數據庫中獲取與所述查詢請求中的關鍵詞相匹配的數據。

6.如權利要求1所述的方法，其特征在于，根據預設的冷數據定義，從所述MySQL數據庫中刪除所述目標業務的冷數據，包括：

每隔預設時間段，根據所述預設的冷數據定義，從所述MySQL數據庫中導出所述目標業務的冷數據；

將所述目標業務的冷數據壓縮為數據包存儲到第三方存儲設備中；

從所述MySQL數據庫中刪除所述目標業務的冷數據。

7.如權利要求1所述的方法，其特征在于，按照預設的數據格式重組從所述指定消息隊列中獲取的數據，得到具備指定前綴的重組數據，包括：

通過指定多線程從所述指定消息隊列獲取多個數據；

將通過所述指定多線程從所述指定消息隊列獲取的所述多個數據組裝為數據實體；

根據所述數據實體的業務標識，得到所述指定前綴；

將所述指定前綴和所述數據實體進行拼接，得到具備所述指定前綴的重組數據。