[發明專利]一種基于糾刪碼與多副本的混合稅務大數據安全保護方法

有效

• 申請號: 201611252092.8
• 申請日: 2016-12-29
• 公開（公告）號: CN106708653B
• 公開（公告）日: 2020-06-30
• 發明（設計）人: 崔瑩;陳升東;陳健彬
• 申請（專利權）人: 廣州中國科學院軟件應用技術研究所
• 主分類號: G06F11/10
• 分類號: G06F11/10;G06F11/14;G06F21/62
• 代理公司: 廣州容大專利代理事務所(普通合伙) 44326
• 代理人: 劉新年

本發明公開了一種基于糾刪碼與多副本的混合稅務大數據安全保護方法，當稅務數據分布式存儲系統的稅務數據正常時，啟動稅務數據的多副本與糾刪碼存儲方式存儲流程，當稅務數據分布式存儲系統的稅務數據失效時，啟動稅務數據容錯處理流程。本發明利用不同時間的稅務數據特點進行分模式存儲，將糾刪編碼任務分發在不同的節點上，采用先副本后糾刪碼的模式，綜合提高了整個稅務數據的安全性和數據修復性能，提高了系統整體的編碼性能，保證了在糾刪編碼完成之前數據的安全性。

技術領域

本發明涉及計算機數據管理技術領域，具體涉及一種基于糾刪碼與多副本的混合稅務大數據安全保護方法。

背景技術

隨著經濟全球化和我國經濟的不斷深入發展，我國納稅人數量迅猛增長、稅種越發豐富，面對越來越龐大的稅務數據，分布式存儲是一個主流的存儲方案，具有很高的性價比和擴展性。對于稅務數據而言，其在分布式存儲環境中的數據安全問題是值得研究的關鍵點。分布式存儲系統包含大量節點，節點失效或者外部入侵都有可能導致數據不完整。為了避免數據丟失，通常采用基于冗余數據的容錯方法，冗余容錯主要有兩種：一種是多副本容錯，通過復制冗余數據進行容錯；另一種是糾刪碼容錯，通過編碼生成冗余數據進行容錯。

目前被廣泛運用的容錯方法是基于復制的多副本容錯：將原數據復制成c個副本，然后將c個數據副本分發到c個不同的存儲節點，這樣任意c-1個節點失效時，每個數據至少還有1個副本存在。多副本容錯具有簡單易實現、計算開銷少、數據訪問性能好的優點。但是多副本容錯也具有非常突出的缺點：存儲開銷很大。對于稅務數據這種本身很龐大，且一直保持高速增長的數據而言，基于復制的多副本容錯并不適用。

隨著數據爆炸式的增長，糾刪碼容錯因其能夠以低得多的存儲開銷提供相同甚至更高的數據可靠性，近年來也開始成為研究熱點。糾刪碼的容錯策略是：將一個數據分成c個數據塊，然后將c個數據塊編碼成n(n＞c)個編碼塊分發到n個不同磁盤中，這樣當節點失效時，只要該數據還有c個編碼塊存在，就能夠將原數據解碼出來。與被廣泛使用的三副本容錯方案相比，RS糾刪碼既可以將存儲空間消耗降低53％，也同時可以將容錯能力提高一倍。但是糾刪碼的缺陷在于數據重建時性能低下，尤其是在分布式存儲中，由于數據重建需要多個節點相互協作，不可避免地帶來大量的網絡資源消耗和計算資源消耗。對于稅務數據這種分布式數據而言，這將成為整個系統性能的關鍵瓶頸。

發明內容

有鑒于此，為了解決現有技術中的上述問題，本發明提出一種基于糾刪碼與多副本的混合稅務大數據安全保護方法。

本發明通過以下技術手段解決上述問題：

一種基于糾刪碼與多副本的混合稅務大數據安全保護方法，當稅務數據分布式存儲系統的稅務數據正常時，啟動稅務數據的多副本與糾刪碼存儲方式存儲流程；

當稅務數據分布式存儲系統的稅務數據失效時，啟動稅務數據容錯處理流程；

所述多副本與糾刪碼存儲方式存儲流程包括如下步驟：

步驟S11，將稅務數據按時間劃分為歷史數據和近期數據，所述近期數據包括多個不同的近期數據包；

步驟S12，將所述近期數據按照多副本存儲方式存儲在多副本存儲模塊，將所述歷史數據按照糾刪碼存儲方式存儲在糾刪碼存儲模塊；

步驟S13，當一近期數據包被標記為已完成狀態，則將該近期數據包轉存到糾刪碼存儲模塊從而形成歷史數據；

所述稅務數據容錯處理流程包括如下步驟：

步驟S21，根據多副本存儲模塊數據管理節點，判斷失效稅務數據存儲在多副本存儲模塊中還是糾刪碼存儲模塊中；

步驟S22，如果失效的稅務數據存儲在多副本存儲模塊，按照多副本管理節點的記錄向相關多副本存儲節點發送測試報文，根據測試報文反饋時延選擇與失效稅務數據對應的副本，并將副本恢復成有效的稅務數據；