[發明專利]一種分布式存儲文件系統的數據刪除方法及裝置

在審

• 申請號: 201710463930.4
• 申請日: 2017-06-19
• 公開（公告）號: CN107291878A
• 公開（公告）日: 2017-10-24
• 發明（設計）人: 郝向東;白學余;海鑫
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京集佳知識產權代理有限公司11227
• 代理人: 羅滿

技術領域

本申請涉及數據存儲領域，特別涉及分布式存儲文件系統中的一種數據刪除方法及裝置。

背景技術

在大數據時代，數據信息的作用越來越大。不可避免的，數據的存儲是個至關重要的問題。在數據存儲的過程中，總是會存在一些無效的數據，這些數據會占用相當一部分的存儲資源，還會對有效數據形成干擾，嚴重影響人們對于數據庫中數據資源的利用和數據分析的結果。

目前最熱門的存儲系統無疑是基于分布式文件存儲架構的分布式文件存儲系統，它主要用于存儲文檔、圖像、視頻之類的數據。該系統以全局管理的方式管理系統資源，它可以任意調度集群中的存儲資源，并且調度過程是“透明”的。

分布式存儲系統采用可擴展的系統結構，不但提高了系統的可靠性、可用性和存取效率，還易于擴展。以高性能、高容量為主要特性的分布式存儲系統，一般滿足以下四個條件：應用于網絡環境中；單個文件數據分布存放在不同的節點上；支持多個終端多個進程并發存取；提供統一的目錄空間和訪問名稱。

但是目前在分布式存儲文件系統中主要靠人工對無效數據進行篩選和刪除，效率低下且存在誤操作風險。數據庫的內容龐大，人工刪除無效數據不可避免的會因為工作疲勞等因素存在誤操作的高風險。

發明內容

有鑒于此，本申請提供了一種數據刪除的方法及裝置，通過對數據設置有效期，數據檢測發現有效期滿的數據并刪除，解決了現有技術中人工篩選無效數據并刪除的低效高風險問題。該方法如下：

設置數據的有效期標簽；

將所述有效期標簽存到檢測表中；

在設定時間遍歷所述檢測表，篩選出所述檢測表中有效期滿的標簽；

刪除所述檢測表中所述有效期滿的標簽和其對應的數據。

其中，所述在設定時間遍歷所述檢測表包括：

利用所述檢測表中剩余數據的有效期標簽，通過線性回歸法計算得到所述設定時間。

其中，所述刪除所述檢測表中所述有效期滿的標簽和其對應的數據之后還包括：

再次利用線性回歸法計算出設定時間后，利用該設定時間對原先計算出的設定時間進行校正。

其中，所述刪除所述檢測表中所述數據標簽和其對應的數據，包括：

調用刪除程序刪除所述檢測表中所述有效期滿的標簽和其對應的數據。

本申請還包括一種分布式存儲文件系統的數據刪除裝置，所述裝置包括：

標簽設置模塊，用于設置數據的有效期標簽；

標簽映射模塊，用于將所述有效期標簽存到檢測表中；

標簽遍歷模塊，用于在設定時間遍歷所述檢測表，篩選出所述檢測表中有效期滿的標簽；

數據刪除模塊，用于刪除所述檢測表中的所述有效期滿的標簽和其對應的數據。

其中，所述標簽遍歷模塊包括：

時間計算子模塊，用于根據檢測表中剩余數據有效期通過線性回歸法計算得到遍歷檢查表的時間。

其中，所述標簽遍歷模塊還包括：

時間校正子模塊，用于再次利用線性回歸法計算出設定時間后，利用該設定時間對原先計算出的設定時間進行校正。

其中，所述數據刪除模塊具體用于調用刪除程序刪除所述檢測表中所述數據標簽和其對應的數據。

本申請提供了一種分布式文件存儲系統的數據刪除方法，該方法通過對數據設置有效期，在預先設定的時間檢測數據的有效期，有效期滿則刪除。使得數據存儲系統能夠自動篩選出無效數據并刪除，避免了人工操作帶來的低效率高風險。本申請還提供了一種分布式文件存儲系統的數據刪除裝置，具有上述有益效果，此處不再贅述。

附圖說明

為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。

圖1為本申請實施例所提供的一種分布式文件存儲系統的數據刪除方法流程圖；

圖2為本申請實施例所提供的另一種分布式文件存儲系統的數據刪除方法流程圖；

圖3為本申請實施例所提供的分布式文件存儲系統的數據刪除裝置示意圖。

具體實施方式

本發明的核心是提供一種分布式文件存儲系統的無效數據刪除方法及裝置，實現系統能夠自動篩選無效數據并將其刪除，解決了人工篩選無效數據時造成的低效率高風險的問題。