[發明專利]一種分布式文件系統及文件存儲方法

有效

• 申請號: 201510728315.2
• 申請日: 2015-10-30
• 公開（公告）號: CN105335513B
• 公開（公告）日: 2018-09-25
• 發明（設計）人: 文武
• 申請（專利權）人: 邁普通信技術股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 成都虹橋專利事務所(普通合伙) 51124
• 代理人: 李凌峰

1.一種分布式文件系統，包括多個存儲節點設備和分布式內存對象緩存系統Memcached數據庫，其特征在于，所述系統還包括協同服務器、存儲引擎和日志服務器，所述多個存儲節點設備分別與協同服務器及Memcached數據庫連接，存儲引擎分別與日志服務器、協同服務器及Memcached數據庫連接，

所述協同服務器，用于負責各存儲節點設備的注冊，并定期向已注冊的各存儲節點設備發送心跳報文進行保活檢測，并將各存儲節點設備回應的心跳報文中所攜帶的當前狀態日志信息，發送給日志服務器；

所述日志服務器，用于接收協同服務器發送的各存儲節點設備的當前狀態日志信息，計算各存儲節點設備的實時存儲能力，并同步給存儲引擎；

所述存儲引擎，用于響應協同服務器下發的文件寫操作請求，在采用滑動塊算法對文件進行分塊后，依據通過日志服務器動態獲取的各存儲節點設備的實時存儲能力，為每一個文件塊計算出最優存儲節點位置，將文件與文件塊存儲節點位置映射關系寫入Memcached數據庫后，將各個文件塊存入所述最優存儲節點位置所在的存儲節點設備；

所述Memcached數據庫，用于保存文件及文件分塊存儲節點位置的映射關系；

所述存儲節點，用于向協同服務器進行注冊，并在向協同服務器回應的心跳報文中攜帶其狀態日志信息，并將存儲引擎寫入的相應的文件分塊進行存儲。

2.如權利要求1所述的分布式文件系統，其特征在于，所述各存儲節點設備的當前狀態日志信息包括該存儲節點的存儲空間、I/O能力及網絡訪問速率。

3.如權利要求1所述的分布式文件系統，其特征在于，所述實時存儲能力是指存儲節點設備當前讀或寫一個字節所花費的時間。

4.如權利要求1任一項所述的分布式文件系統，其特征在于，

所述存儲節點設備，還用于在完成文件的寫操作后生成狀態日志信息，主動上報協同服務器；

所述協同服務器，還用于將各存儲節點主動上報的狀態日志信息，同步到日志服務器。

5.如權利要求1-4任一項所述的分布式文件系統，其特征在于，

所述存儲引擎，還用于在空閑時，根據各存儲節點設備的實時存儲能力，對文件存儲進行優化以將文件塊被均衡的分配到各個存儲節點設備。

6.如權利要求5所述的分布式文件系統，其特征在于，所述存儲引擎還用于統計各個文件的訪問頻率，且將使用頻率高的文件分塊保存在Memcached數據庫的緩存中。

7.分布式文件系統文件存儲方法，應用于如權利要求1-6任一項所述的分布式文件系統，其特征在于，包括以下步驟：

A、客戶端發起文件寫操作請求，協同服務器生成寫事務ID，并將其與文件寫操作請求一起下發給存儲引擎；

B、存儲引擎響應協同服務器下發的文件寫操作請求，在采用滑動塊算法對文件進行分塊后，依據通過日志服務器動態獲取的各存儲節點設備的實時存儲能力，為每一個文件塊計算出最優存儲節點位置；

C、存儲引擎將文件與文件塊存儲節點位置映射關系寫入Memcached數據庫后，將各個文件塊存入所述最優存儲節點位置所在的存儲節點設備，各個存儲節點設備分別寫入相應的文件分塊。

8.如權利要求7所述的分布式文件系統文件存儲方法，其特征在于，在步驟B中，所述為每一個文件塊計算出最優存儲節點位置的方法包括，為每個文件塊選取備份因子個存儲能力最優的存儲節點位置；所述備份因子是指整個文件在系統中備份的數量。

9.如權利要求8所述的分布式文件系統文件存儲方法，其特征在于，在步驟C之后還包括如下步驟：所述各個存儲節點設備在完成文件的寫操作后生成狀態日志信息，主動上報協同服務器。

10.如權利要求8所述的分布式文件系統文件存儲方法，其特征在于，在步驟A之前還包括如下步驟：協同服務器接受各存儲節點設備的注冊，并定期向已注冊的各存儲節點設備發送心跳報文進行保活檢測，并將各存儲節點設備回應的心跳報文中所攜帶的當前狀態日志信息，發送給日志服務器。