[發明專利]針對分布式文件系統的高可用消息傳輸框架和方法

有效

• 申請號: 200810247441.6
• 申請日: 2008-12-31
• 公開（公告）號: CN101459694A
• 公開（公告）日: 2009-06-17
• 發明（設計）人: 楊棟;唐榮鋒;熊勁;孟丹
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L29/06
• 代理公司: 北京律誠同業知識產權代理有限公司
• 代理人: 梁 揮;王金寶

技術領域

本發明總體上涉及分布式文件系統的消息傳輸框架及消息傳輸方法，特別 涉及在分布式文件系統的消息傳輸層面實現高可用機制來提高文件數據網絡 傳輸的可用性，從而提升分布式文件系統整體可用性的消息傳輸框架和方法。

背景技術

機群系統以其可擴展性好、性能價格比高、高可用性強、可繼承現有軟硬 件資源和開發周期短、可編程性好等特點，目前已成為超級服務器的主流體系 結構。機群系統自上世紀70年代誕生以來，經歷了從專用機群系統到通用機 群系統的發展，規模從幾十個處理器發展到了上萬個處理器。優越的可擴展性 使得很容易通過擴大系統規模來達到所需要的性能。然而伴隨系統規模的增 長，系統中一些設備將不可避免地發生故障，這也使得人們不僅僅關注性能， 同時將視線轉移到系統的易用性、可管理性及可用性方面。

一個機群文件系統需要為用戶提供可靠可用的數據服務。提供可靠的數據 服務意味著文件系統不能失去也不能破壞數據，提供可用的數據服務意味著文 件系統可以讓應用程序能夠獲得其所需的數據，也就是保證文件系統一直能夠 為用戶提供可用的服務或是能夠在故障后快速的恢復從而繼續為用戶提供服 務。其中，文件系統的網絡故障處理又是非常重要的，它是文件系統實現容錯 的基礎，分離并處理文件系統的網絡故障，有助于提升系統整體容錯的效率和 可擴展性。

目前分布式文件系統的網絡容錯機制主要在四個層面實現，即底層的網絡 協議層(TCP/IP)，文件系統的消息傳輸層(NFS/RPC)，分布式文件系統層 (PVFS2/BMI)以及網絡硬件拓撲層(Lustre/LND)。

由于文件系統位于底層網絡協議棧之上，并且分布式文件系統操作不具備 事務性(由多次網絡傳輸操作組成)，因此底層的網絡協議層的容錯機制不能 為文件系統提供所需的可用性保障。而在文件系統層直接解決網絡故障，將文 件系統操作和網絡容錯機制緊密結合起來，能夠解決軟件網絡故障，不過對于 網絡硬件故障也不易恢復，并且這種做法使得文件系統與底層網絡協議耦合度 增大，不利于擴展和移植；網絡硬件拓撲容錯基于冗余度較高的網絡拓撲模型， 在很大程度上解決了硬件原因引起的網絡故障，對處理網絡分割尤為有效，其 所帶來的問題是較高的硬件成本及工程實施上的困難，并且不能很好地處理硬 件系統運行良好的網絡故障，如網絡性能驟降、邏輯連接中斷等異常。

另外，就在文件系統的消息傳輸層解決網絡容錯而言，其通過狀態轉換機 來實現請求的重傳，盡管其能夠解決連接中斷等軟件錯誤，但是不能解決網絡 分割等硬件故障。

發明內容

本發明的目的是提供一種針對分布式文件系統的高可用消息傳輸框架和 方法，其能夠解決由于現有技術的不足而導致的一個或多個問題。

為了達到上述目的，本發明采取如下技術方案。

一種針對分布式文件系統的高可用性消息傳輸框架，其位于文件系統層之 下、網絡協議層之上；該消息傳輸框架包括：

文件系統接口層，為文件系統層提供訪問接口；

文件操作處理層，分別與文件系統接口層和底層協議封裝層交互，處理文 件系統層提交的請求，提交操作給底層協議封裝層；

底層協議封裝層，與網絡協議層通信，將文件操作處理層提交的操作進行 封裝后通過網絡協議層發送消息。

進一步地，所述文件系統接口層包括：

創建通信上下文接口、創建連接上下文接口、創建操作上下文接口，釋放 操作上下文接口、釋放連接上下文接口、釋放通信上下文接口，以及提交操作 接口、輪詢回調接口等，其中提交操作接口用于文件系統創建操作上下文并將 操作上下文掛到文件操作處理層的發送隊列，輪詢回調接口用于接收方從接收 隊列上取下到達消息的操作上下文結構。

進一步地，所述文件操作處理層包括：

連接通道選擇單元，用于從通信上下文中選擇連接通道；

連接通道重構單元，用于當連接通道選擇單元選擇到無效通道時，重構連 接通道；

操作上下文重構單元，用于將操作上下文加入操作重構隊列，并在連接通 道有效后，激活該操作。

進一步地，所述文件操作處理層還包括：