[發明專利]一種小文件的存取方法、系統及控制節點和存儲節點

有效

• 申請號: 201310575327.7
• 申請日: 2013-11-15
• 公開（公告）號: CN103605726B
• 公開（公告）日: 2017-11-14
• 發明（設計）人: 徐君;倪濤;郭家棟
• 申請（專利權）人: 中安消技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L29/08
• 代理公司: 深圳中一專利商標事務所44237
• 代理人: 張全文

技術領域

本發明屬于云存儲技術領域，尤其涉及一種小文件的存取方法、系統及控制節點和存儲節點。

背景技術

隨著云計算、云存儲技術的廣泛發展和應用，如何存儲海量(幾十億)小文件(幾十kB到幾MB的圖片，文檔等)成為分布式文件系統應用的難題。

現有的分布式文件系統，如Hadoop分布式文件系統（Hadoop Distributed File System，HDFS）在存儲海量小文件時有著巨大的缺陷，由于HDFS的namenode（主節點）內存的限制，通常100w個文件需要至少3GB的內存空間，因此，HDFS無法存儲和管理十億級別的文件。HDFS也提供HAR FILE和Sequence FILE的模式來緩解該問題，但是這兩種存儲方式都是通過特定的命令，將已經存儲的文件轉換為這兩種存儲方式，由于存儲結構的問題，無法支持對于小文件的修改，刪除，鎖定，解鎖功能，同時檢索海量小文件時的性能也有待提升。

發明內容

本發明實施例提供了一種小文件的存取方法、系統及控制節點和存儲節點，旨在解決現有技術提供的文件的存取方法，無法支持對于小文件的修改、刪除、鎖定、解鎖等功能，并且檢索海量小文件時的性能也有待提升的問題。

一方面，提供一種一種小文件的存取方法，所述方法包括：

控制節點接收客戶端發送的創建小文件命令；

控制節點根據所述創建小文件命令創建一個新的聚合文件或者從聚合文件列表中選擇一個已有的聚合文件，同時根據所述聚合文件的屬性信息生成所述小文件在所述聚合文件中的序號；

控制節點根據所述聚合文件的屬性信息以及所述小文件在所述聚合文件中的序號生成所述小文件的標識以及用于存儲所述小文件的存儲節點的信息，并發送至客戶端，客戶端根據用于存儲所述小文件的存儲節點的信息向相應的存儲節點發送寫小文件指令，由所述存儲節點根據所述寫小文件指令將所述小文件的數據寫入相應的文件塊，并將所述小文件的數據在文件塊中的起始位置和所述小文件的長度寫入所述文件塊的索引區域。

進一步地，所述聚合文件的屬性信息中包括聚合文件的標識和聚合文件的存儲塊列表，所述存儲塊列表包括聚合文件中的每個文件塊的序號、每個文件塊中存儲的小文件的個數以及存儲每個文件塊的存儲節點的信息。

進一步地，所述控制節點根據所述聚合文件的屬性信息以及所述小文件在所述聚合文件中的序號生成所述小文件的標識以及用于存儲所述小文件的存儲節點的信息包括：

控制節點根據所述聚合文件的標識以及所述小文件在所述聚合文件中的序號生成所述小文件的標識；

控制節點根據所述小文件在所述聚合文件中的序號以及每個文件塊中存儲的小文件的個數，計算得到用于存儲所述小文件的文件塊的序號；

控制節點根據所述用于存儲所述小文件的文件塊的序號以及用于存儲每個文件塊的存儲節點的信息得到用于存儲所述小文件的存儲節點的信息。

進一步地，所述存儲節點根據所述寫小文件指令將所述小文件的數據寫入相應的文件塊，并將所述小文件的數據在文件塊中的起始位置和所述小文件的長度寫入所述文件塊的索引區域包括：

存儲節點從所述寫小文件指令中提取出所述小文件的標識；

存儲節點根據所述小文件的標識得到存儲所述小文件的聚合文件的標識以及所述小文件在所述聚合文件中的序號；

存儲節點根據所述小文件在所述聚合文件中的序號以及每個文件塊中存儲的小文件的個數，計算得到用于存儲所述小文件的文件塊的序號；

存儲節點將所述小文件的數據寫入所述文件塊，并將所述小文件的數據在文件塊中的起始位置和所述小文件的長度寫入所述文件塊的索引區域。

進一步地，在所述控制節點根據所述聚合文件的屬性信息以及所述小文件在所述聚合文件中的序號生成所述小文件的標識以及用于存儲所述小文件的存儲節點的信息，并發送至客戶端，客戶端根據用于存儲所述小文件的存儲節點的信息向相應的存儲節點發送寫小文件指令，由所述存儲節點根據所述寫小文件指令將所述小文件的數據寫入相應的文件塊，并將所述小文件的數據在文件塊中的起始位置和所述小文件的長度寫入所述文件塊的索引區域之后，所述方法還包括：

控制節點接收客戶端發送的修改小文件指令；