[發明專利]數據存儲方法及系統

在審

• 申請號: 201210206419.3
• 申請日: 2012-06-20
• 公開（公告）號: CN103514177A
• 公開（公告）日: 2014-01-15
• 發明（設計）人: 王永庚
• 申請（專利權）人: 盛趣信息技術（上海）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 上海思微知識產權代理事務所(普通合伙) 31237
• 代理人: 菅秀君

技術領域

本發明涉及一種數據存儲方法及系統。

背景技術

循環隊列數據存儲指的是將特性對象的數據按照一定的順序依次插入到一個隊列中，隊列的首部和尾部相連，形成一個封閉的環形數據存儲空間。

在現有技術下，海量隊列數據只存儲最新數據有兩種方法：

第一種方法是前端程序直接插入新數據，另有后端程序清理不符合隊列條件的數據，如超出隊列長度且最早的數據。

第一種方法的優點是：在清理程序啟動之前，系統有較高的性能；

第一種方法的缺點在于：

1、隊列長度不固定，會有波動；

2、系統性能波動較大，清理程序啟動后，需要掃描全部海量的數據，在此過程中系統的壓力較大，性能下降；而且，在清理過程會產生大量的鎖操作，這對系統性能影響更大，直接的表現就是造成連接數上升，請求響應延時或超時，并發量下降。

第二種方法是前端程序在插入新數據之前或之后定位不符合隊列條件的數據，然后將該不符合隊列條件的數據清理掉。

第二種方法的優點是：系統的整體性能較為穩定，不會出現第一種方法中性能波動較大的情況；

第二種方法的缺點在于：前端的插入請求要經歷插入、定位和刪除不符合隊列條件的數據這三個步驟，這使得簡單的插入請求變成一個大的長事務，高并發情況下會出現數據庫中出現資源被鎖定的時間增加，使得請求需要的響應時間變長，甚至超時。

另外，實際應用中，不可能將海量數據全部放在內存里來提高響應速度，一般會使用廉價的磁盤存儲這些海量數據，在數據檢索和定位的時候，磁盤輸入輸出設備（磁盤IO）會消耗了較多的時間和資源。因此，如何在海量數據情況下保證循環隊列系統的高并發量和快速數據請求響應是目前業界亟待解決的問題。

發明內容

本發明的目的在于提供一種數據存儲方法及系統，只需要一個事務就完成了隊列數據的插入，并且沒有額外的維護隊列長度的系統開銷，減少了前端與數據庫端的交互次數，系統架構簡單，便于實施和維護，也降低了更新請求時資源被鎖定的時間和數量，從而使系統始終處于穩定、高效的狀態，可以在海量數據、高并發的情況下保證循環隊列系統的快速數據請求響應，并且可以充分發揮循環隊列應用于各種數據庫如關系型數據庫或非關系型數據庫的優勢。

為解決上述問題，本發明提供一種數據存儲方法，包括：

為對象提供依序循環存儲隊列數據的循環隊列；以及

將新的隊列數據覆蓋所述對象的循環隊列中最近一次存儲的隊列數據之后的一個隊列數據。

進一步的，在上述方法中，為對象提供依序循環存儲隊列數據的循環隊列的步驟之前還包括，賦予所述對象一預設的對象關鍵字。

進一步的，在上述方法中，為對象提供依序循環存儲隊列數據的循環隊列的步驟之后還包括：

對所述對象關鍵字進行哈希生成相應的哈希值，根據所述哈希值將不同對象的循環隊列分布式存儲到不同服務器的不同表里或文件里。

進一步的，在上述方法中，為對象提供依序循環存儲隊列數據的循環隊列的步驟包括：

預設對象的循環隊列中隊列數據的存儲個數為N，其中N為自然數；

根據所述隊列數據的存儲個數建立相應長度的循環隊列；

按加1的方式依次賦予對象的循環隊列中每個隊列數據的存儲位置一預設的位置號；

將所述對象關鍵字和所述位置號組合生成聯合關鍵字以標識對象的循環隊列中每個隊列數據的存儲位置。

進一步的，在上述方法中，將新的隊列數據覆蓋所述對象的循環隊列中最近一次存儲的隊列數據之后的一個隊列數據的步驟包括：

獲取所述對象的循環隊列中最近一次存儲的隊列數據的位置號，并判斷是否獲取成功；

若成功，則根據最近一次存儲的隊列數據的位置號、所述隊列數據的存儲個數及取模公式獲取新的隊列數據的存儲位置的聯合關鍵字，以及將所述新的隊列數據存儲入所述聯合關鍵字所對應的存儲位置；

若不成功，則將所述新的隊列數據存儲入所述對象的循環隊列的第一個隊列數據的存儲位置。

進一步的，在上述方法中，所述取模公式為：

新的隊列數據存儲的位置號=（最近一次存儲的隊列數據的位置號+1）％N。

根據本發明的另一面，提供一種數據存儲系統，包括：

隊列模塊，用于為對象提供依序循環存儲隊列數據的循環隊列；以及

存儲模塊，用于將新的隊列數據覆蓋所述對象的循環隊列中最近一次存儲的隊列數據之后的一個隊列數據。