[發明專利]混合存儲系統及文件的自適應備份方法

在審

• 申請號: 202011016120.2
• 申請日: 2020-09-24
• 公開（公告）號: CN112084156A
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 臧其事;趙可欣;吳曉峰
• 申請（專利權）人: 中國農業銀行股份有限公司上海市分行
• 主分類號: G06F16/172
• 分類號: G06F16/172;G06F16/182;G06F11/14
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 陸嘉

1.一種混合存儲系統，其特征在于，包括：

文件入口組件，文件入口組件接收待備份的文件，文件入口組件生成文件的元數據，所述元數據記錄文件的活躍程度、文件大小、在線備份時間；

文件分發組件，文件分發組件具有規則控制器，規則控制器對元數據應用分發規則，獲得目標存儲器，所述分發規則與文件的活躍程度、文件大小、在線備份時間相關，文件分發組件將文件發送至目標存儲器；

大文件在線存儲集群，大文件在線存儲集群存儲文件大小大于尺寸閾值、活躍程度小于活躍閾值、在線備份時間尚未到期的文件；

小文件在線存儲集群，小文件在線存儲集群存儲文件大小不大于尺寸閾值、活躍程度小于活躍閾值、在線備份時間尚未到期的文件；

熱點數據緩存集群，熱點數據緩存集群存儲活躍程度不小于活躍閾值的文件；

永久備份庫，永久備份庫存儲在線備份時間已到期的文件。

2.如權利要求1所述的混合存儲系統，其特征在于，還包括：轉存組件，轉存組件也具有規則控制器，轉存組件定期對已備份文件的元數據應用分發規則，在已備份文件的活躍程度、文件大小、在線備份時間發生改變時更新目標存儲器，并將已備份文件轉存至更新的目標存儲器。

3.如權利要求1所述的混合存儲系統，其特征在于，還包括：元數據庫，文件入口組件生成的文件的元數據保存在元數據庫中，所述元數據庫是MongoDB。

4.如權利要求1所述的混合存儲系統，其特征在于，

所述大文件在線存儲集群是HDFS分布式文件系統；

所述小文件在線存儲集群是fastDFS分布式文件系統；

所述熱點數據緩存集群是使用固態存儲器的cephFS分布式文件系統；

所述永久備份庫是帶庫。

5.一種混合存儲系統中文件的自適應備份方法，其特征在于，使用如權利要求1-4中任一項所述的混合存儲系統，該自適應備份方法包括：

文件接收步驟，接收帶備份的文件并生成文件的元數據，所述元數據記錄文件的活躍程度、文件大小、在線備份時間；

文件分發步驟，根據元數據應用分發規則，為文件指定目標存儲器，其中：

首先判斷文件的活躍程度，將活躍程度不小于活躍閾值的文件的目標存儲器設定為熱點數據緩存集群；

對活躍程度小于活躍閾值的文件判斷文件大小，將文件大小大于尺寸閾值的文件的目標存儲器設定為大文件在線存儲集群，將文件大小不大于尺寸閾值的文件的目標存儲器設定為小文件在線存儲集群；

文件備份步驟，根據目標存儲器，將文件備份至熱點數據緩存集群、大文件在線存儲集群或者小文件在線存儲集群。

6.如權利要求5所述的混合存儲系統中文件的自適應備份方法，其特征在于，還包括：

文件轉存步驟，定期對熱點數據緩存集群、大文件在線存儲集群和小文件在線存儲集群中已經備份的文件的元數據應用分發規則，在已備份文件的活躍程度、文件大小、在線備份時間發生改變時更新目標存儲器，并將已備份文件轉存至更新的目標存儲器。

7.如權利要求6所述的混合存儲系統中文件的自適應備份方法，其特征在于，所述文件轉存步驟中，

對熱點數據緩存集群中備份的文件的元數據進行定期檢查，選擇活躍程度小于活躍閾值的文件，判斷這些文件的文件大小；

將文件大小大于尺寸閾值的文件的目標存儲器更新為大文件在線存儲集群，并將這些文件從熱點數據緩存集群轉存至大文件在線存儲集群；

將文件大小不大于尺寸閾值的文件的目標存儲器更新為小文件在線存儲集群，并將這些文件從熱點數據緩存集群轉存至小文件在線存儲集群。

8.如權利要求6所述的混合存儲系統中文件的自適應備份方法，其特征在于，所述文件轉存步驟中，

對大文件在線存儲集群和小文件在線存儲集群中備份的文件的元數據進行定期檢查，選擇在線備份時間已到期的文件，將這些文件目標存儲器更新為永久備份庫，并將這些文件從大文件在線存儲集群或者小文件在線存儲集群轉存至永久備份庫。