[發明專利]一種數據處理方法、裝置、設備及存儲介質

在審

• 申請號: 202210625497.0
• 申請日: 2022-06-02
• 公開（公告）號: CN115080605A
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 曾奕錕;傅克標;沈成宇;劉建永;侯敏;曹輝
• 申請（專利權）人: 瑞浦蘭鈞能源股份有限公司;上海瑞浦青創新能源有限公司
• 主分類號: G06F16/2453
• 分類號: G06F16/2453;G06F16/245;G06F16/215;G06F3/06
• 代理公司: 武漢智權專利代理事務所(特殊普通合伙) 42225
• 代理人: 張凱

本發明公開了一種數據處理方法、裝置、設備及存儲介質，其中方法包括：根據設定的閾值，判斷數據庫中的數據是冷數據還是熱數據；若為冷數據，將冷數據的關鍵查詢字段保存在數據庫，并將冷數據的業務數據壓縮成文件保存到磁盤中并從數據庫刪除；若為熱數據，將熱數據的關鍵查詢字段和業務數據繼續保存在數據庫。本申請能夠在獲取全量數據的情況下節省存儲空間，從而達到節約成本，并且還能夠快速查詢到目標數據，提高數據檢索速度。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種數據處理方法、裝置、設備及存儲介質。

背景技術

隨著數據量的不斷增長積累，不同類別的數據也會呈現出不同的訪問熱度，通過分析可以發現，隨著時間的推移，初始寫入時被認為是熱數據，伴隨訪問頻次會逐漸下降或者隨著訪問時間過長，熱數據就被定義為冷數據。目前主要使用分區分表和壓縮數據，分區分表仍然占用了數據庫的空間，壓縮數據儲存到磁盤，導致數據查詢緩慢。

發明內容

本發明主要目的在于提供一種數據處理方法、裝置、設備及存儲介質，能夠在獲取全量數據的情況下節省存儲空間，從而達到節約成本，并且還能夠快速查詢到目標數據，提高數據檢索速度。

第一方面，本申請提供了一種數據處理方法，該數據處理方法包括步驟：

根據設定的閾值，判斷數據庫中的數據是冷數據還是熱數據；

若為冷數據，將冷數據的關鍵查詢字段保存在數據庫，并將冷數據的業務數據壓縮成文件保存到磁盤中并從數據庫刪除；

若為熱數據，將熱數據的關鍵查詢字段和業務數據繼續保存在數據庫。

一種可能的實施方式中，根據訪問次數判斷所述數據中的數據是冷數據還是熱數據。

一種可能的實施方式中，根據生成時間判斷所述數據庫中的數據是冷數據還是熱數據。

一種可能的實施方式中，從磁盤中讀取冷數據，從數據庫中讀取熱數據。

一種可能的實施方式中，將所述冷數據和所述熱數的業務數據寫入數據庫中，作為修改或新增的業務數據。

一種可能的實施方式中，在數據庫中查詢待刪除的業務數據的元信息，判斷待刪除的業務數據為冷數據還是熱數據；

若為冷數據，查詢并刪除磁盤中的壓縮文件；

若為熱數據，直接從數據庫中刪除。

一種可能的實施方式中，所述設定時間段為從每日0點開始的預設時長的時間段。

第二方面，本申請提供了一種數據處理裝置，該數據處理裝置包括：

判斷模塊，用于根據設定的閾值，判斷數據庫中的數據是冷數據還是熱數據；

第一存儲模塊，用于若為冷數據，將冷數據的關鍵查詢字段保存在數據庫，并將冷數據的業務數據壓縮成文件保存到磁盤中并從數據庫刪除；

第二存儲模塊，用于若為熱數據，將熱數據的關鍵查詢字段和業務數據繼續保存在數據庫。

第三方面，本申請還提供了一種電子設備，所述電子設備包括：處理器；存儲器，所述存儲器上存儲有計算機可讀指令，所述計算機可讀指令被所述處理器執行時，實現第一方面任一項所述的方法。

第四方面，本申請還提供了一種計算機可讀存儲介質，其存儲有計算機程序指令，當所述計算機程序指令被計算機執行時，使計算機執行第一方面任一項所述的方法。