[發明專利]基于冗余機制的數據存儲方法和裝置、服務器

在審

• 申請號: 201610846589.6
• 申請日: 2016-09-26
• 公開（公告）號: CN107870726A
• 公開（公告）日: 2018-04-03
• 發明（設計）人: 傅朋;孫振崗;姜慧良
• 申請（專利權）人: 北京優朋普樂科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F11/14
• 代理公司: 北京恒都律師事務所11395
• 代理人: 王清亮

技術領域

本申請涉及網絡數據存儲與服務技術領域，特別地，涉及一種基于冗余機制的數據存儲方法和裝置、服務器。

背景技術

目前的分布式文件系統大多采用的是完全副本方式的冗余，該方式只需要有一個副本安全就可以提供服務，但其缺點是存儲空間利用率較低，對于一些訪問率極低的文件，全量存儲和全量備份浪費一定的存儲空間。

發明內容

本申請提供一種基于冗余機制的數據存儲方法和裝置、服務器，用于解決現有技術為保證安全完整而對數據進行全量備份導致的存儲空間浪費問題。

本申請公開的一種基于冗余機制的數據存儲方法，在服務器端，所述方法包括：按預設的周期檢查數據文件的狀態，找出訪問率小于第一預設訪問率閾值的冷數據文件；對所述冷數據文件按預設的數據分片備份容錯算法參數進行切片，并將各分片數據存儲到不同的存儲節點；刪除所述冷數據文件；記錄各分片數據的存儲節點信息。

優選的，還包括：接收客戶端發送的數據文件下載請求；判斷所述數據文件是否為分片存儲的文件；若是，利用數據分片備份容錯算法對分片數據進行還原，并將還原后的數據文件返回至客戶端；若否，直接將所述數據文件返回至客戶端。

優選的，所述方法還包括：在所述冷數據文件的訪問率上升為大于或等于第二預設訪問率閾值時，利用數據分片備份容錯算法對分片數據進行還原，將還原后的數據文件存儲到緩存服務節點，并記錄所述數據文件的緩存服務節點地址；當收到所述數據文件的下載請求時，直接重定向到所述緩存服務節點；其中，第二預設訪問率閾值大于或等于第一預設訪問率閾值。

優選的，還包括：當所述緩存服務節點的空閑存儲空間率小于預設空閑率閾值或空閑存儲空間小于預設空間尺寸閾值時，刪除所述緩存服務節點中訪問率最低的數據文件，更新所述數據文件的存儲節點信息，以及，調整所述第二預設訪問率閾值。

優選的，所述分片數據的存儲節點包括本地存儲節點和第三方數據存儲服務節點；當所述分片數據的存儲節點為第三方數據存儲服務節點時，在所述利用數據分片備份容錯算法對分片數據進行還原步驟之前，還包括：將所述分片數據從所述第三方數據存儲服務節點下載到本地存儲節點。

優選的，還包括：當保存分片數據的存儲節點的存儲設備出現故障，或保存分片數據的存儲節點下線且超過預設下線時間閾值時，調度沒有保存所述分片數據的存儲節點利用其他分片數據對所述分片數據進行恢復；當存儲節點的存儲設備的故障恢復后，或下線且超過預設下線時間閾值的存儲節點重新上線后，查找與該存儲節點的分片數據重復的存儲節點，隨機刪除一份重復的分片數據。

優選的，所述數據分片備份容錯算法參數包括切片總數n和能夠恢復原數據文件的最少切片數m；存儲不同分片數據的存儲節點數大于m。。

本申請公開的一種基于冗余機制的數據存儲裝置，在服務器端，所述裝置包括：冷數據文件查找模塊，用于按預設的周期檢查數據文件的狀態，找出訪問率小于第一預設訪問率閾值的冷數據文件；分片數據生成模塊，用于對所述冷數據文件按預設的數據分片備份容錯算法參數進行切片，將各分片數據存儲到不同的存儲節點；以及，刪除所述冷數據文件；切片信息存儲模塊，用于記錄各分片數據的存儲節點信息。

優選的，還包括：下載請求接收模塊，用于接收客戶端發送的數據文件下載請求；數據文件返回模塊，用于判斷請求下載的數據文件是否為分片存儲的文件；若是，利用數據分片備份容錯算法對分片數據進行還原，并將還原后的數據文件返回至客戶端；若否，直接將所述數據文件返回至客戶端。

優選的，還包括：冷熱數據轉換模塊，用于當冷數據文件的訪問率上升為大于或等于第二預設訪問率閾值時；利用數據分片備份容錯算法對分片數據進行還原，將還原后的數據文件存儲到緩存服務節點，并記錄所述數據文件的緩存服務節點地址；當收到所述數據文件的下載請求時，直接重定向到所述緩存服務節點；其中，第二預設訪問率閾值大于或等于第一預設訪問率閾值；和/或，緩存數據清理模塊，用于當所述緩存服務節點的空閑存儲空間率小于預設空閑率閾值或空閑存儲空間小于預設空間尺寸閾值時，刪除所述緩存服務節點中訪問率最低的數據文件，更新所述數據文件的存儲節點信息，以及，調整所述第二預設訪問率閾值。

優選的，還包括：分片數據下載模塊，用于當所述分片數據的存儲節點為第三方數據存儲服務節點時，在所述文件返回模塊利用數據分片備份容錯算法對分片數據進行還原之前，將所述分片數據從第三方數據存儲服務節點下載到本地。

本申請公開的一種服務器，包括上述基于冗余機制的數據存儲裝置。

與現有技術相比，本申請具有以下優點：