[發(fā)明專利]用于按需緩存的方法和數(shù)據(jù)處理系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201310396099.7
• 申請日: 2013-09-04
• 公開（公告）號: CN103677664A
• 公開（公告）日: 2014-03-26
• 發(fā)明（設(shè)計）人: R·M·諾倫納;S·R·帕蒂爾;A·K·塞恩;R·P·沃德;K·S·扎德布克
• 申請（專利權(quán)）人: 國際商業(yè)機器公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;H04L29/08
• 代理公司: 中國國際貿(mào)易促進(jìn)委員會專利商標(biāo)事務(wù)所 11038
• 代理人: 陳新

技術(shù)領(lǐng)域

本申請一般地涉及改進(jìn)的數(shù)據(jù)處理裝置和方法，更具體地涉及用于在廣域網(wǎng)（WAN）分離的分布式文件系統(tǒng)或集群式文件系統(tǒng)的緩存（cache）中按需緩存（on-demand?caching）的機制。

背景技術(shù)

存在用于實現(xiàn)廣域網(wǎng)（WAN）緩存的架構(gòu)。主站點可以是通用并行文件系統(tǒng)（GPFS）或由網(wǎng)絡(luò)文件系統(tǒng)（NFS）導(dǎo)出的任何其它文件系統(tǒng)。多個緩存站點通過網(wǎng)絡(luò)連接至主站點。多個緩存站點可以NFS掛載主NFS出口。只有一個緩存站點被允許對用于特定NFS出口的緩存中的文件進(jìn)行寫操作。其它站點是只讀緩存站點，其可以了解來自主站點的更新并將這些更新拉取（pull）到緩存站點中。然而，緩存站點不能向主站點發(fā)送對文件和目錄的任何寫或更新。多個緩存站點可以是針對來自主站點的不同NFS出口的單個寫入器。

發(fā)明內(nèi)容

在一個說明性實施例中，提供了一種數(shù)據(jù)處理系統(tǒng)中的用于在分離的分布式文件系統(tǒng)或集群式文件系統(tǒng)中按需緩存的方法。該方法包括監(jiān)視并行文件系統(tǒng)中由多個緩存站點進(jìn)行的文件訪問。該方法進(jìn)一步包括識別緩存站點的訪問模式。該方法還包括與所述多個緩存站點共享訪問模式。所述多個緩存站點中的給定緩存站點將訪問模式與本地的訪問信息進(jìn)行組合，并且基于組合的信息來識別要調(diào)度預(yù)取的文件。

在其它的說明性實施例中，提供了一種包括具有計算機可讀程序的計算機可用或可讀介質(zhì)的計算機程序產(chǎn)品。當(dāng)計算機可讀程序在計算設(shè)備上被執(zhí)行時，使得計算設(shè)備執(zhí)行上面關(guān)于方法說明性實施例概述的操作中的各種操作及其組合。

在又一個說明性實施例中，提供了一種系統(tǒng)/裝置。該系統(tǒng)/裝置包括一個或多個處理器和耦合到所述一個或多個處理器的存儲器。存儲器可以包括指令，當(dāng)指令由一個或多個處理器執(zhí)行時，使得一個或多個處理器執(zhí)行上面關(guān)于方法說明性實施例概述的操作中的各種操作及其組合。

這些以及本發(fā)明的其它特征和優(yōu)點將在下面的本發(fā)明的示例實施例的詳細(xì)說明中描述，或者基于下面的詳細(xì)說明而對具備所屬領(lǐng)域普通技能的人而言變得清楚。

附圖說明

本發(fā)明和優(yōu)選使用模式以及其目標(biāo)和優(yōu)勢可以通過參照下面結(jié)合附圖的對說明性實施例的詳細(xì)描述而最好地理解，其中：

圖1描繪了在其中可以實施說明性實施例的方面的示例分布式數(shù)據(jù)處理系統(tǒng)的圖形表示；

圖2是在其中可以實施說明性實施例的方面的示例分布式數(shù)據(jù)處理系統(tǒng)的框圖；

圖3描繪了在其中可以實施說明性實施例的方面的示例WAN分離的分布式文件系統(tǒng)或集群式文件系統(tǒng)；

圖4描繪了根據(jù)說明性實施例的主站點確定文件活躍度；

圖5描繪了根據(jù)說明性實施例的基于具有按需緩存的WAN分離的分布式文件系統(tǒng)或集群式文件系統(tǒng)中的信息而共享分析和統(tǒng)計信息以及預(yù)取；

圖6是根據(jù)說明性實施例的說明WAN分離的分布式文件系統(tǒng)或集群式文件系統(tǒng)中的具有按需緩存的緩存站點的操作的流程圖；

圖7是根據(jù)說明性實施例的說明WAN分離的分布式文件系統(tǒng)或集群式文件系統(tǒng)中的用于按需緩存的主站點的操作的流程圖；

圖8是根據(jù)說明性實施例的說明緩存站點調(diào)度預(yù)取的操作的流程圖；

圖9是根據(jù)說明性實施例的說明緩存站點執(zhí)行訪問信息的統(tǒng)計分析的操作的流程圖。

具體實施方式

說明性實施例提供了一種用于在WAN分離的分布式文件系統(tǒng)或集群式文件系統(tǒng)中按需緩存的機制。該機制把在一時間窗口期間已經(jīng)被活躍使用的或在一時間段內(nèi)具有多個用戶的文件歸類為活躍文件。該時間窗口或該時間段可以是根據(jù)所需粒度可變的或固定的。該機制可以使用多個時間窗口，在這多個時間窗口內(nèi)同一文件或多個不同文件可以變得活躍。

主站點可以在中央位置處。由于主站點大體了解大部分的寫和未緩存的讀，因此其知曉哪些文件是活躍的。主站點還能夠執(zhí)行某些統(tǒng)計分析。例如，主站點能夠在幾天、幾周或幾個月的時段中確定哪些文件在哪個時間點開始變得活躍、到達(dá)最高點、以及接著變得靜止。主站點整理該信息并將其饋送給緩存站點，因而緩存站點能夠執(zhí)行針對性的文件預(yù)填充（pre-population）/預(yù)取。基于提供的信息，緩存站點能夠減小針對特定文件的再驗證間隔。對于特定的活躍文件，當(dāng)寫到來時，主站點可以向緩存站點發(fā)送回叫（callback）。