[發明專利]一種基于分布式文件系統的數據預讀裝置及其方法

在審

• 申請號: 201410108037.6
• 申請日: 2014-03-21
• 公開（公告）號: CN103916465A
• 公開（公告）日: 2014-07-09
• 發明（設計）人: 張軍偉;楊洪章;邵冰清;鄭彩平;劉振軍
• 申請（專利權）人: 中國科學院計算技術研究所;天津中科藍鯨信息技術有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F17/30
• 代理公司: 北京律誠同業知識產權代理有限公司 11006
• 代理人: 祁建國;李巖

1.一種基于分布式文件系統的數據預讀裝置，其特征在于，所述數據預讀裝置包括：客戶端模塊、元數據服務器模塊和數據存儲模塊：

所述客戶端模塊通過訪問所述元數據服務器模塊獲取目錄讀取擴展授權和小文件布局，根據所述小文件布局將小文件數據和與所述小文件數據空間連續的大粒度數據同時從所述數據存儲模塊中預讀到所述客戶端模塊的緩存中。

2.根據權利要求1所述基于分布式文件系統的數據預讀裝置，其特征在于，

所述元數據服務器模塊：用于進行目錄讀取擴展授權的管理和小文件布局信息的維護，接收獲取目錄讀取擴展授權和小文件布局的請求，并返回所述目錄讀取擴展授權和所述小文件布局；

所述數據存儲模塊：用于提供數據存儲與訪問接口，接收讀取特定物理位置的訪問請求，并返回數據讀取內容；

所述客戶端模塊：用于向所述元數據服務器模塊發送獲取目錄讀取擴展授權的請求，根據獲取到的所述目錄讀取擴展授權，所述客戶端模塊向所述元數據服務器模塊發送獲取小文件布局的請求，并根據獲取到的所述小文件布局向所述數據存儲模塊發送數據讀取請求，完成所述小文件數據和所述大粒度數據內容讀取。

3.根據權利要求2所述基于分布式文件系統的數據預讀裝置，其特征在于，所述元數據服務器模塊還包括：

目錄讀取擴展授權管理模塊：用于接收所述客戶端模塊發送的所述獲取目錄讀取擴展授權的請求，并向所述客戶端授予所述目錄讀取擴展授權；

文件布局維護模塊：用于接收所述客戶端發送的小文件布局的請求，并向所述客戶端應答記錄維護的所述小文件布局。

4.根據權利要求2所述基于分布式文件系統的數據預讀裝置，其特征在于，所述客戶端模塊還包括：

目錄讀取擴展授權獲取模塊：用于向所述目錄讀取擴展授權管理模塊發送獲取目錄讀取擴展授權的請求，并在獲取授權后進行記錄；

文件布局獲取模塊：用于向所述文件布局維護模塊發送獲取小文件布局請求，以獲取小文件布局，獲取所述小文件布局后進行記錄；

文件讀取模塊：用于根據獲取的所述小文件布局，得到所述小文件數據的物理位置，進行數據讀取訪問；

匿名頁緩存模塊：用于緩存從所述數據存儲設備模塊中預讀的數據頁，所述文件讀取模塊在所述匿名頁緩存模塊中查找所需數據頁，如果查找成功，則直接從所述匿名頁緩存模塊中取走所需數據；

數據存儲設備訪問驅動模塊：用于訪問所述數據存儲設備模塊，從數據存儲設備的物理位置中獲取數據，如果所述文件讀取模塊在所述匿名頁緩存模塊中查找數據失敗，則構建大粒度連續的數據訪問請求，通過所述數據存儲設備訪問驅動模塊獲取所述大粒度連續數據。

5.根據權利要求1或2所述基于分布式文件系統的數據預讀裝置，其特征在于，所述目錄讀取擴展授權用于保證所述目錄包含文件的數據內容能夠被授予了所述目錄讀取擴展授權的所述客戶端進行讀取，不會被其他客戶端同時修改。

6.根據權利要求5所述基于分布式文件系統的數據預讀裝置，其特征在于，所述讀取擴展授權包含版本號，所述版本號用于區分同一客戶端多次對同一目錄獲取所述讀取擴展授權。

7.一種基于分布式文件系統的數據預讀方法，應用于如權利要求1-6中任一項所述的數據預讀裝置，所述數據預讀裝置包括：客戶端模塊、元數據服務器模塊和數據存儲模塊，該方法包括：

獲取目錄讀取擴展授權步驟：所述客戶端模塊向所述元數據服務器模塊發送獲取目錄讀取擴展授權請求，所述元數據服務器模塊向所述客戶端模塊授予目錄讀取擴展授權；

文件數據讀取步驟：根據獲取的所述目錄讀取擴展授權，所述客戶端模塊向所述元數據服務器模塊發送獲取小文件布局的請求，并根據獲取到的所述小文件布局向所述數據存儲模塊發送數據讀取請求，完成所述小文件數據和所述大粒度數據內容讀取。