[發明專利]用于多副本數據網格系統中的寫/讀文件操作的方法

有效

• 申請號: 200810056393.2
• 申請日: 2008-01-18
• 公開（公告）號: CN101217571A
• 公開（公告）日: 2008-07-09
• 發明（設計）人: 鄭緯民;武永衛;徐鵬志;楊廣文
• 申請（專利權）人: 清華大學
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L29/06;H04L9/32
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及數據網格系統中的文件操作，尤其涉及多副本數據網格系統中的高速寫文件操作。

背景技術

數據網格系統廣泛采用數據副本技術來提高文件操作的性能，即將多個文件副本存儲在不同數據節點中，其中包括一個可改寫的主副本文件以及多個只讀副本文件。對于讀文件操作，一般情況下用戶可以手工選擇最近的副本文件進行讀操作，或者通過數據網格中的資源調度器為用戶自動分配通訊開銷小的副本文件進行讀操作。對于寫文件操作，一般是將數據寫入到主副本文件中，主副本文件是唯一可改寫副本文件，主副本文件更新完畢后，將通過同步或異步方式自動更新其他只讀副本文件。

從上述現有技術可知，目前數據網格中的寫文件操作有如下不足：

由于只能改寫主副本文件，當主副本文件存儲到用戶的傳輸開銷較大時，將降低數據網格寫文件操作的性能。

當對某一文件頻繁執行寫操作時，存儲該主副本文件的數據節點將可能出現過載，導致寫文件操作的性能急劇下降，甚至造成系統崩潰。

發明內容

本發明的目的在于提供一種用于多副本數據網格系統中的就近寫/讀副本文件的方法，該方法使用戶可以對最近的副本文件進行寫操作，提高了寫文件操作的性能。

一種用于多副本數據網格系統中的支持就近寫/讀副本文件的方法涉及到元數據服務器、副本存儲服務器和副本訪問客戶端。

其中元數據服務器包括副本視圖存儲模塊、副本視圖更新模塊、服務器距離比較模塊、副本視圖選擇模塊和出錯處理模塊，各模塊的作用如下：

副本視圖存儲模塊：存儲副本視圖信息，描述一個副本的完整視圖信息由副本存儲服務器地址以及在所述副本存儲服務器上存儲的可用副本的數據段描述信息組成，所述數據段描述信息由在副本內的起始偏移量與數據段長度表示，所述副本存儲服務器地址由副本存儲服務器的域名或IP地址表示；

副本視圖更新模塊：根據副本更新的具體情況，查找并刪除過時的副本視圖信息，建立新的副本視圖信息，修改副本視圖的數據段描述信息；

服務器距離比較模塊：估計各個副本存儲服務器到發起讀寫請求的用戶的邏輯距離，距離越遠表示服務器與用戶之間的通信鏈路的可用帶寬越小，反之亦然；

副本視圖選擇模塊：根據用戶的讀寫請求，以及所述服務器距離比較模塊的輸出結果選取與所述用戶距離最小的副本視圖；當用戶進行讀文件操作時，所述距離最小的副本視圖可能由多個副本存儲服務器上的多個數據段拼合而成；當用戶進行寫文件操作時，所述距離最小的副本視圖為距離用戶最近的副本存儲服務器上的一個數據段；

其中副本存儲服務器負責存儲、管理副本文件；負責接收并執行來自用戶的讀寫操作；負責向元數據服務器報告所管理的副本文件的更新狀態；

出錯處理模塊：當身份認證失敗時，記錄異常，并向客戶端發送請求失敗響應。

其中訪問客戶端包括用戶訪問接口模塊、視圖請求模塊、視圖解析模塊、讀寫執行模塊和錯誤處理模塊，各模塊的作用如下：

用戶訪問接口模塊：接收用戶發出的讀寫文件請求；

視圖請求模塊：根據用戶訪問接口模塊的輸出參數，向元數據服務器發出讀寫請求，獲取具體讀寫操作所需的副本視圖信息；

副本視圖解析模塊：解析由元數據服務器返回的副本視圖信息，按副本視圖信息中的數據段所在的服務器對所述副本視圖信息進行分組，存儲在相同服務器上的數據段屬于同一組，同一組的各數據段按照起始偏移量進行組內排序；對于讀操作，通過讀寫執行模塊從相關副本存儲服務器獲取各數據段數據，并組成完整的數據段返回給用戶訪問接口模塊；對于寫操作，通過讀寫執行模塊將用戶數據寫入到相應的副本存儲服務器的對應數據段中；

讀寫執行模塊：與副本存儲服務器交互，執行讀寫文件操作；

錯誤處理模塊：處理讀寫視圖請求以及執行讀寫文件時所產生的錯誤。

其中通過訪問客戶端進行寫文件操作的方法，其實現步驟依次如下：

步驟(1).用戶向所述系統中的副本訪問客戶端的用戶訪問接口模塊提交寫文件請求，

該請求包括：所寫文件的標識、所要寫入的數據以及所寫數據段的起始地址偏移量和數據段的長度；

步驟(2).所述用戶訪問接口模塊對所述寫文件請求進行簡單封裝后，發向所述副本訪問客戶端的視圖請求模塊，該視圖請求模塊向所述系統中元數據服務器內的身份認證模塊發出寫視圖請求；