[發明專利]一種基于多外存設備多隊列的I/O管理方法

有效

• 申請號: 201811040593.9
• 申請日: 2018-09-07
• 公開（公告）號: CN109343943B
• 公開（公告）日: 2021-08-03
• 發明（設計）人: 施展;馮丹;陳碩;戴凱航;曹夢媛;于瑞麗;楊蕾;楊文鑫;劉上;陳靜
• 申請（專利權）人: 華中科技大學
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 李智;曹葆青

本發明公開了一種基于多外存設備多隊列的I/O管理方法，包括：將邊塊文件劃分成大小相等的條帶單元，條帶單元以遞增的順序循環地條帶化到條帶化文件中；采用上述條帶化方式，對原始I/O請求進行地址映射；判斷原始I/O請求是否需要分解，如果是，將其分解成對齊條帶單元邊界的多個新I/O請求；否則，直接將其映射成等長的新I/O請求；對新I/O請求進行預取合并；將新I/O請求分派到對應外存設備的相應的I/O任務隊列。本發明通過基于多外設多隊列的I/O管理，確保每個I/O請求只由一個外存設備服務，每個應用I/O線程專用于一個外存設備，通過對新I/O請求的預取合并，將多個小的請求合并成一個大的I/O請求，有效地減少了對外存設備的訪問次數，使得多外存I/O性能充分發揮。

技術領域

本發明屬于外存圖處理技術領域，更具體地，涉及一種基于多外存設備多隊列的I/O管理方法。

背景技術

隨著圖數據規模的不斷增長，使用外存處理的圖處理系統因其低成本、易擴展等優點已經成為替代分布式內存模式圖處理系統的流行方案，但外存I/O成為了系統的性能瓶頸。當處理大規模圖數據集而需要I/O吞吐量時，使用多外設設備成為自然而常用的解決方案。但目前使用外存處理的圖處理系統采用的多外存I/O管理方法存在順序帶寬利用不足、并行I/O能力受限和管理開銷較大等問題，使得多外存I/O性能沒有充分發揮，限制了系統最優性能的實現。

現有技術中，圖處理系統使用基于條帶化卷的操作系統管理I/O方法時，為了最大程度地飽和多外存設備的聚合帶寬，采用單I/O任務隊列的線程池模型，以并發發起I/O請求。圖1為現有技術中多外存設備單隊列I/O管理系統示意圖。如圖1所示，應用主線程不作任何針對多外存環境的I/O管理任務，只是將原始的I/O請求任務放入共享的單一I/O任務隊列中，然后由多應用I/O線程從共享隊列中取出任務，向多個外存設備組成的條帶化卷透明地發起I/O請求，因此，無法避免一個應用I/O線程發起的一個I/O請求的數據跨越多個外存設備的情形；多個應用I/O線程發起的I/O請求的數據可能在相同的外存設備上，從而導致對外存設備和文件鎖的爭用開銷。此外，在一個應用I/O線程上下文中，I/O服務任務是以順序輪詢的方式進行，因此，限制了多個外存設備并行能力的發揮。經過操作系統的卷管理器進行I/O請求分解后，一個應用I/O線程對應的Plug-list包含對不同外存設備的小I/O請求。操作系統在這樣的Plug-list中執行排序和合并都是不高效的，而且在細粒度條帶深度下，并發的I/O線程導致在每個外存設備上順序的小I/O請求可能無法預計的亂序到達，使得合并失效。這樣的線程池模型也導致應用層中多個應用I/O線程對單一共享I/O任務隊列上鎖的爭用。

發明內容

針對現有技術的缺陷，本發明的目的在于解決現有技術多外存模式單隊列I/O管理方法存在的I/O請求的數據跨越多個外存設備、多線程對設備、文件鎖的競爭、并行能力受限、多外存I/O性能未充分發揮技術問題。

為實現上述目的，第一方面，本發明實施例提供了一種基于多外存設備多隊列的I/O管理方法，該方法包括以下步驟：

S1.將圖數據分區后的所有邊塊文件，按照更新順序劃分成大小相等的條帶單元，條帶單元按照遞增的順序循環地條帶化到多個條帶化文件中；

S2.采用與步驟S1中一致的條帶化方式，對原始I/O請求進行地址映射；

S3.判斷所述原始I/O請求是否需要分解，如果需要，將原始I/O請求分解成對齊條帶單元邊界的多個新I/O請求；否則，該原始I/O請求不發生分解，直接映射成等長的新I/O請求；

S4.對新I/O請求進行預取合并；

S5.將新I/O請求分派到對應外存設備的相應的I/O任務隊列。

具體地，步驟S2具體如下：

采用與步驟S1中一致的條帶化方式，對原始I/O請求進行地址映射，得到所述原始I/O請求的起始條帶化文件編號和起始條帶化文件內起始偏移地址。