[發明專利]排序集數據的存儲方法及裝置

有效

• 申請號: 201210070124.8
• 申請日: 2012-03-16
• 公開（公告）號: CN103309901B
• 公開（公告）日: 2017-11-17
• 發明（設計）人: 曾毅;伍正勇;向燦;鐘智將
• 申請（專利權）人: 深圳市快播科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京三友知識產權代理有限公司11127
• 代理人: 任默聞

技術領域

本發明涉及數據存儲領域，具體地，涉及一種排序集數據的存儲方法及裝置。

背景技術

在通信系統中，由于redis系統的數據存放在內存，沒有持久存儲至磁盤來實現數據的高性能讀寫，因此，一旦系統宕機，整個數據將全部被清空，雖然redis系統自身有持久化機制，但是系統重啟后恢復數據較慢。

另外，redis系統的數據處理量受到內存的限制，因為redis系統使用內存比較厲害，而數據一般存放在內存中，因此數據庫容量受到物理內存的限制，從而無法實現海量數據的高性能讀寫。

發明內容

本發明實施例的主要目的在于提供一種排序集數據的存儲方法及裝置，以解決現有技術中的redis系統數據庫容量受到物理內存的限制而導致的無法實現海量數據的高性能讀寫的問題。

為了實現上述目的，本發明實施例提供一種排序集數據的存儲方法，該方法包括：接收排序集數據并獲取所述排序集數據的標識；將所述排序集數據進行壓縮處理；根據所述排序集數據的標識將壓縮處理后的排序集數據存儲至數據庫中對應的排序集；根據所述排序集將所述的數據庫進行分片處理；將分片處理后的數據庫中的排序集數據映射至內存。

具體地，在根據所述排序集數據的標識將壓縮處理后的排序集數據存儲至數據庫中對應的排序集之前，所述方法還包括：根據所述排序集數據的標識判斷所述數據庫中是否存在所述對應的排序集；如果存在所述對應的排序集，則判斷所述對應的排序集中的記錄數量是否超出限定值，如果是，則刪除所述對應的排序集中最早的記錄；如果不存在所述對應的排序集，則根據所述排序集數據的標識建立排序集。

將分片處理后的數據庫中的排序集數據映射至內存之后，所述的方法還包括：周期性異步備份所述分片處理后的數據庫中的排序集數據到預定目錄。

本發明實施例還提供一種排序集數據的存儲裝置，所述裝置包括：標識獲取單元，用于接收排序集數據并獲取所述排序集數據的標識；壓縮處理單元，用于將所述排序集數據進行壓縮處理；數據存儲單元，用于根據所述排序集數據的標識將壓縮處理后的排序集數據存儲至數據庫中對應的排序集；分片處理單元，用于根據所述排序集將所述的數據庫進行分片處理；數據映射單元，用于將分片處理后的數據庫中的排序集數據映射至內存。

具體地，上述裝置還包括：排序集判斷單元，用于根據所述排序集數據的標識判斷所述數據庫中是否存在所述對應的排序集；記錄刪除單元，用于在存在所述對應的排序集時，判斷所述對應的排序集中的記錄數量是否超出限定值，如果是，則刪除所述對應的排序集中最早的記錄；排序集建立單元，用于如果不存在所述對應的排序集，則根據所述排序集數據的標識建立排序集。

上述的裝置還包括：備份單元，用于周期性異步備份所述分片處理后的數據庫中的排序集數據到預定目錄。

借助于上述技術方案至少之一，通過將排序集數據壓縮處理后存儲至數據庫，并將數據庫分片后將數據映射至內存，可以提升數據庫容量，減小內存限制，從而可以實現海量數據的高性能讀寫。

附圖說明

為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。

圖1是根據本發明實施例的排序集數據存儲方法的流程圖；

圖2是根據本發明實施例的數據存儲示意圖；

圖3是在TC數據庫向指定的集合key中添加(Zadd指令)記錄的流程圖；

圖4是在TC數據庫向指定的集合key中刪除(Zrem指令)記錄的流程圖；

圖5是Zrange指令的流程圖；

圖6是Zcard指令的流程圖；

圖7是備份的流程圖；

圖8是數據回寫至磁盤的流程圖；

圖9是根據本發明實施例的排序集數據存儲裝置的結構框圖；

圖10是根據本發明實施例的排序集數據存儲裝置的詳細結構框圖；

圖11是根據本發明實施例的排序集數據存儲裝置的另一結構框圖。

具體實施方式

下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。