[發明專利]一種基于分布式文件系統的數據預讀裝置及其方法

在審

• 申請號: 201410108037.6
• 申請日: 2014-03-21
• 公開（公告）號: CN103916465A
• 公開（公告）日: 2014-07-09
• 發明（設計）人: 張軍偉;楊洪章;邵冰清;鄭彩平;劉振軍
• 申請（專利權）人: 中國科學院計算技術研究所;天津中科藍鯨信息技術有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F17/30
• 代理公司: 北京律誠同業知識產權代理有限公司 11006
• 代理人: 祁建國;李巖

技術領域

本發明涉及分布式文件系統客戶端與服務器端的交互技術，特別涉及一種分布式文件系統在客戶端進行小文件之間數據預讀的方法和系統。

背景技術

隨著信息技術飛速發展，全球數據信息總量迅猛增長，非結構化數據越來越多。據Gartner統計，2010全球數據信息總量達到1.2ZB，并預計以每年至少50%的增長率持續高速增長，其中85%由各種非結構化數據組成，非結構化數據多以文件形式存儲在分布式文件系統中。在web2.0、社交網絡等新興應用中，數據信息主要以小文件的形式存在，文件尺寸較小。隨著小文件數量越來越多，迫切需要分布式文件系統有效管理海量小文件，提供高性能、低延時的小文件訪問服務。

在大規模分布式文件系統中，元數據與數據分離的結構已經成為了一種趨勢。元數據服務器負責維護文件系統全局命名空間，管理文件邏輯位置與磁盤物理位置的映射關系，為文件分配物理存儲資源，元數據記錄在專有的元數據存儲設備中。客戶端文件數據訪問不必通過元數據服務器，而是采用帶外方式直接訪問專有的數據存儲設備，從而獲取較高的數據訪問性能。上述結構對大文件訪問非常有效，大文件數據在專有數據存儲設備中，數據分布在存儲設備上的空間連續性好，并且大文件大粒度連續數據訪問的情況通常較多，可以充分發揮數據存儲設備的大粒度順序訪問的性能優勢。

然而在海量小文件數據讀取訪問中，由于數據讀取粒度小并且不同小文件之間的數據訪問空間連續性差，難以發揮數據存儲設備的大粒度順序訪問的性能優勢，導致海量小文件的訪問性能遠遠低于大文件的訪問性能，性能差距達到10倍以上。

預讀是提升小文件讀取訪問性能的一個主要方法，通過把將要訪問的數據預先讀取到客戶端緩存，后續客戶端訪問時可以在緩存中獲取數據，節省了同步從磁盤讀取數據的開銷，達到較低的訪問延遲。目前的預讀算法主要針對單個大文件進行，根據單個文件內歷史訪問的邏輯位置，預測后續將要訪問的邏輯位置，并預讀將要訪問的邏輯位置的數據。然而，小文件通常一次讀取全部文件數據，沒有歷史訪問信息，因此上述預讀算法對小文件無效。此外，針對文件內邏輯位置進行預讀，沒有考慮物理位置讀取的空間連續性，對于物理空間連續性較差的文件，不能發揮數據存儲設備的連續訪問性能優勢。

發明內容

本發明所要解決的技術問題在于提供一種基于分布式文件系統的數據預讀裝置及其方法，以克服現有技術中存在的海量小文件應用場景中分布式文件系統無法有效降低小文件數據讀取訪問延遲、無法充分發揮數據存儲設備大粒度順序訪問性能優勢的問題。

為達上述目的，本發明提供了一種基于分布式文件系統的數據預讀裝置，其特征在于，所述數據預讀裝置包括：客戶端模塊、元數據服務器模塊和數據存儲模塊：

所述客戶端模塊通過訪問所述元數據服務器模塊獲取目錄讀取擴展授權和小文件布局，根據所述小文件布局將小文件數據和與所述小文件數據空間連續的大粒度數據同時從所述數據存儲模塊中預讀到所述客戶端模塊的緩存中。

上述基于分布式文件系統的數據預讀裝置，其特征在于，

所述元數據服務器模塊用于進行目錄讀取擴展授權的管理和小文件布局信息的維護，接收獲取目錄讀取擴展授權和小文件布局的請求，并返回所述目錄讀取擴展授權和所述小文件布局；

所述數據存儲模塊用于提供數據存儲與訪問接口，接收讀取特定物理位置的訪問請求，并返回數據讀取內容；

所述客戶端模塊用于向所述元數據服務器模塊發送獲取目錄的讀取擴展授權的請求，根據獲取到的所述目錄讀取擴展授權，所述客戶端模塊向所述元數據服務器模塊發送獲取小文件布局的請求，并根據獲取到的所述小文件布局向所述數據存儲模塊發送數據讀取請求，完成所述小文件數據和所述大粒度數據內容讀取。

上述基于分布式文件系統的數據預讀裝置，其特征在于，所述元數據服務器模塊還包括：

目錄讀取擴展授權管理模塊：用于接收所述客戶端模塊發送的所述獲取目錄讀取擴展授權的請求，并向所述客戶端授予所述目錄讀取擴展授權；

文件布局維護模塊：用于接收所述客戶端發送的小文件布局的請求，并向所述客戶端應答記錄維護的所述小文件布局。

上述基于分布式文件系統的數據預讀裝置，其特征在于，所述客戶端模塊還包括：

目錄讀取擴展授權獲取模塊：用于向所述目錄讀取擴展授權管理模塊發送獲取目錄讀取擴展授權的請求，并在獲取目錄讀取授權后進行記錄；

文件布局獲取模塊：用于向所述文件布局維護模塊發送獲取小文件布局請求，以獲取小文件布局，獲取所述小文件布局后進行記錄；