[發(fā)明專利]一種基于ZFS文件系統(tǒng)的數(shù)據(jù)存儲方法及裝置

有效

• 申請?zhí)枺?/td>: 201810023098.0
• 申請日: 2018-01-10
• 公開（公告）號: CN108363727B
• 公開（公告）日: 2020-06-02
• 發(fā)明（設計）人: 趙國賢
• 申請（專利權）人: 貝殼找房（北京）科技有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/174
• 代理公司: 北京路浩知識產(chǎn)權代理有限公司 11002
• 代理人: 王瑩;吳歡燕

本發(fā)明實施例提供一種基于ZFS文件系統(tǒng)的數(shù)據(jù)存儲方法及裝置。所述方法包括：接收待存儲數(shù)據(jù)以及對應的存儲策略名稱；根據(jù)所述存儲策略名稱獲取匹配的目標存儲策略，所述目標存儲策略包括指定存儲的文件系統(tǒng)和存儲介質(zhì)；若判斷獲知所述目標存儲策略中指定存儲的文件系統(tǒng)為動態(tài)文件系統(tǒng)ZFS，則根據(jù)所述ZFS文件系統(tǒng)預先配置的壓縮算法對所述待存儲數(shù)據(jù)進行壓縮，并將壓縮后的待存儲數(shù)據(jù)存儲到所述ZFS文件系統(tǒng)對應的存儲介質(zhì)中。所述裝置用于執(zhí)行所述方法。本發(fā)明實施例通過根據(jù)用戶指定的存儲策略名稱獲取匹配的目標存儲策略，若目標存儲策略指定存儲的文件系統(tǒng)為ZFS文件系統(tǒng)，則先對待存儲數(shù)據(jù)進行壓縮在存儲，從而節(jié)省了存儲空間。

技術領域

本發(fā)明實施例涉及計算機技術領域，尤其涉及一種基于ZFS文件系統(tǒng)的數(shù)據(jù)存儲方法及裝置。

背景技術

HDFS(Hadoop Distributed File System)是一種大數(shù)據(jù)分布式存儲系統(tǒng)，由雅虎開源。它將任意大小的文件按照指定塊大小(如256MB)分割成若干塊，并且為了數(shù)據(jù)冗余備份，每個塊有3(默認)個副本，hdfs將該文件的所有副本塊隨機分布到大量數(shù)據(jù)節(jié)點(稱為datanode)上，并在主節(jié)點(稱為namenode)上記錄該文件的每個副本塊存在哪個datanode上。查詢數(shù)據(jù)時從namenode獲取該文件的所有副本塊位置(即哪些datnode)，再按照一定規(guī)則從datanode上獲取數(shù)據(jù)。

存放在hdfs中的數(shù)據(jù)使用頻率不一樣，對存儲的要求也不一樣，比如某些數(shù)據(jù)經(jīng)常使用(熱數(shù)據(jù))，希望訪問速度快。某些數(shù)據(jù)很少使用(冷數(shù)據(jù))，希望存儲的成本低。業(yè)內(nèi)提供多種類型存儲介質(zhì)，如固態(tài)硬盤(SSD)速度高，價格貴。磁帶速度慢，價格低。普通磁盤價格和速度適中。

但目前集群均使用linux的ext4作為底層文件系統(tǒng)，并使用三副本策略(一份數(shù)據(jù)需要存儲到三個節(jié)點上)，極大的耗費存儲空間。

發(fā)明內(nèi)容

針對現(xiàn)有技術存在的問題，本發(fā)明實施例提供一種基于ZFS文件系統(tǒng)的數(shù)據(jù)存儲方法及裝置。

第一方面，本發(fā)明實施例提供一種基于ZFS文件系統(tǒng)的數(shù)據(jù)存儲方法，包括：

接收待存儲數(shù)據(jù)以及對應的存儲策略名稱；

根據(jù)所述存儲策略名稱獲取匹配的目標存儲策略，所述目標存儲策略包括指定存儲的文件系統(tǒng)和存儲介質(zhì)；

若判斷獲知所述目標存儲策略中指定存儲的文件系統(tǒng)為ZFS文件系統(tǒng)，則根據(jù)所述ZFS文件系統(tǒng)預先配置的壓縮算法對所述待存儲數(shù)據(jù)進行壓縮，并將壓縮后的待存儲數(shù)據(jù)存儲ZFS文件系統(tǒng)對應的存儲介質(zhì)中。

進一步地，所述方法，還包括：

若判斷獲知所述目標存儲策略中指定存儲的文件系統(tǒng)為第四代擴展文件系統(tǒng)Ext4，則直接將所述待存儲數(shù)據(jù)存儲到所述Ext4文件系統(tǒng)對應的存儲介質(zhì)中。

進一步地，所述方法，還包括：

預先配置存儲策略，并將所述存儲策略存儲到數(shù)據(jù)庫中。

進一步地，在接收待存儲數(shù)據(jù)以及對應的存儲策略名稱后，所述方法，還包括：

將所述待存儲數(shù)據(jù)進行分塊，獲得對應的多個待存儲子數(shù)據(jù)塊，并根據(jù)每一待存儲子數(shù)據(jù)塊獲得預設個數(shù)的待存儲子數(shù)據(jù)塊副本，相應的，

所述目標存儲策略包括每一待存儲數(shù)據(jù)子數(shù)據(jù)塊副本對應的文件系統(tǒng)和存儲介質(zhì)。

第二方面，本發(fā)明實施例提供一種基于ZFS文件系統(tǒng)的數(shù)據(jù)存儲裝置，包括：

接收模塊，用于接收待存儲數(shù)據(jù)以及對應的存儲策略名稱；

匹配模塊，用于根據(jù)所述存儲策略名稱獲取匹配的目標存儲策略，所述目標存儲策略包括指定存儲的文件系統(tǒng)和存儲介質(zhì)；