[發明專利]一種并行網絡文件系統中預讀小文件后忙等的系統及方法

有效

• 申請號: 201510345279.1
• 申請日: 2015-06-19
• 公開（公告）號: CN105095353B
• 公開（公告）日: 2018-12-04
• 發明（設計）人: 楊洪章;張軍偉;何文婷;張建剛
• 申請（專利權）人: 中國科學院計算技術研究所;天津中科藍鯨信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京律誠同業知識產權代理有限公司 11006
• 代理人: 祁建國;梁揮

本發明公開了一種并行網絡文件系統中預讀小文件后忙等的系統及方法，該系統包括：客戶端，用于根據當前訪問文件的文件布局確定當前訪問文件的數據頁面數量，并訪問磁盤中當前訪問文件的數據頁面；服務器端，用于獲取當前訪問文件的文件布局并發送給客戶端；客戶端當上層應用在緩存中查找到被加鎖的當前數據頁面時，將該當前數據頁面標記為“未訪問”，跳過該當前數據頁面，訪問下一個數據頁面，待全部數據頁面訪問完成后，對該當前數據頁面進行再次訪問。

技術領域

本發明涉及并行網絡文件系統中文件間數據預讀取后的緩存命中機制，特 別涉及一種并行網絡文件系統中預讀小文件后忙等的系統及方法。

背景技術

隨著大數據時代的來臨，全球數據信息量迅猛增長。在電子商務、社交網 絡、科學計算等領域中存在越來越多的小尺寸的文件。創下紐約交易所最大規 模IPO的阿里巴巴集團，其旗下重要電商交易平臺——淘寶，在2010年就已 保存了約286億張圖片，平均大小僅為17.45KB，8KB以下圖片占總量的61％。 從某種意義上來說，當前并不存在純粹的大文件應用。人類逐步邁入“海量小 文件的時代”。

并行網絡文件系統(pNFS)采用元數據與數據服務分離結構，客戶端通 過帶外訪問模式直接訪問存儲設備，在大文件訪問過程中性能極佳，同時，又 因其廣泛的兼容性和擴展性，得到工業界和學術界的支持，逐漸成為事實上的 分布式文件系統標準。在文件“小而多”的發展趨勢下，并行網絡文件系統越 來越多地承擔了小文件管理的重任。然而，由于缺乏針對小文件的訪問優化， 小文件的性能較差。

小文件數據訪問時，數據訪問隨機性強、IO粒度小、磁盤吞吐量低。圖1 測試了在單線程隨機訪問時，IO粒度對磁盤吞吐量的影響。對于4KB粒度的 隨機IO訪問，其磁盤吞吐量僅為6.56MBps；對于1MB粒度的隨機IO訪問， 其磁盤吞吐量可達到75.09MBps。4KB和1MB數據訪問的磁盤吞吐量相差達 11倍以上。對于大于1MB粒度的隨機IO訪問，磁盤吞吐量保持高量穩定。 磁盤“善于順序讀，不善于隨機讀”、“善于大粒度IO，不善于小粒度IO” 的特性，與小文件訪問過程中“大量的隨機、小粒度IO”的特點形成了難以 逾越的鴻溝，磁盤吞吐量低的問題暴露無遺。

在先前的技術研究中，提出一種基于分布式文件系統的數據預讀裝置及其 方法(張軍偉、楊洪章、邵冰清等，申請號201410108037.6)，該種方法同步 地預讀文件間的數據，在數據頁面尚未從磁盤返回之前，數據頁面處于加鎖狀 態，即使后續的數據頁面已在緩存中，應用程序也需要等待當前數據頁面解鎖 后才能讀取內容，這對于系統性能產生了很大的影響。

針對現實需求以及當前相關研究的不足有必要提出一種并行網絡文件系 統中預讀文件間數據后讀取忙等的系統及方法，以有效隱藏加鎖頁面的等待時 延，能夠從根本上克服原有技術“閑等”的弊端，對于系統性能會有十分顯著 的正面影響。

發明內容

本發明的目的在于提供一種并行網絡文件系統中預讀小文件后忙等的系 統及方法，用于有效隱藏加鎖頁面的等待時延，以從根本上克服“閑等”的弊 端。

為了實現上述目的，本發明提供一種并行網絡文件系統中預讀小文件后忙 等的系統，包括：

客戶端，用于根據當前訪問文件的文件布局確定當前訪問文件的數據頁面 數量，并訪問磁盤中當前訪問文件的數據頁面；

服務器端，用于獲取當前訪問文件的文件布局并發送給客戶端；

客戶端當上層應用在緩存中查找到被加鎖的當前數據頁面時，將該當前數 據頁面標記為“未訪問”，跳過該當前數據頁面，訪問下一個數據頁面，待全 部數據頁面訪問完成后，對該當前數據頁面進行再次訪問。

所述的系統，其中，客戶端在匿名頁緩存中通過雙向鏈表的方式組織匿名 頁，該雙向鏈表的組織方式為二級索引，通過檢查該雙向鏈表中是否有相應頁 面的方式判斷匿名頁緩存中是否有該當前數據頁面。