[發明專利]基于最小化IO訪問沖突和文件分條的大規模分條文件分配系統

有效

• 申請號: 201310228642.2
• 申請日: 2013-06-08
• 公開（公告）號: CN103324577A
• 公開（公告）日: 2013-09-25
• 發明（設計）人: 阮利;陳鯤;肖利民;董斌
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06F12/02
• 分類號: G06F12/02
• 代理公司: 北京金恒聯合知識產權代理事務所 11324
• 代理人: 李強

技術領域

本發明公開了一種基于最小化IO訪問沖突和文件分條的大規模分條文件分配系統，尤其涉及一種面向大數據應用的、面向分條文件的、充分考慮最小化大數據文件請求的磁盤I/O沖突概率、采用啟發式方法的大規模分條文件分配系統，屬于計算機技術領域。

背景技術

大數據（Big?Data）指大規模數據。自2010年來，大數據成為了學術界、工業界的研究熱點，原因在于一方面，在于互聯網、移動互聯網、物聯網，以及云計算的規模和應用的激增，大量的用戶和應用的交互導致產生巨量的數據；另一方面，隨著數據采集技術的進步，諸如衛星遙感、傳感器、GPS等，也導致每時每刻都在產生巨量的數據；最后，在科研和工業等領域的復雜的新技術、新儀器的使用也導致數據量的產生與日俱增，例如，歐洲核子研究中心的大型粒子對撞機（Large?Hardon?Collider）每年產生約15PB的數據。據<<經濟學人>>雜志分析稱，全世界的數據量，在2005年約為150EB，2010年約為1200EB，到2020年，則預期為35000EB。數據規模的飛速發展對傳統的數據存儲、處理、共享等方式提出了更高的要求，而且為了充分發揮長期積累的巨量數據的效能，學術界和工業界再一次將目光轉向大數據的研究，并成為學術和工業等領域的熱點技術。

最早提出“大數據”時代已經到來的機構是全球知名咨詢公司麥肯錫(McKinsey)。麥肯錫在研究報告中指出，數據已經滲透到每一個行業和業務職能領域，逐漸成為重要的生產因素;而人們對于海量數據的運用將預示著新一波生產率增長和消費者盈余浪潮的到來。麥肯錫將大數據定義為“規模超過典型的數據庫軟件工具的采集、存儲、管理和分析能力的數據集”。IBM則從四個維度定義了大數據的特征（4V）：容量(Volume)，速度(Velocity)，多樣性(Variety)，真實性(Veracity）。Wikipedia。給出的定義是：大數據是一個大而復雜，以至于難以用現有數據庫管理工具或傳統數據分析程序來處理的數據集，包括在采集(capture)、管理(curation)、存儲(storage)、搜索(search)、共享(sharing)、分析(analysis)，以及可視化(visualization)等多方面的挑戰。

計算機軟件系統優化是緩解計算機系統“輸入/輸出性能瓶頸”、解決適于大數據計算的高性能計算機系統規模的擴大和科學計算程序中數據敏感性計算的增加所帶來的新問題的至關重要的方法之一。由于適于大數據應用的并行I/O系統軟件能夠將獨立的資源（如磁盤、服務器、網絡帶寬等）整合在一起來為并行程序提供高速的聚合I/O，因此并行I/O系統軟件作為適于大數據應用的高性能計算機整機系統軟件的重要部分，是有效解決高性能計算機I/O性能問題行之有效的方法。并行文件系統作為并行I/O系統軟件堆棧的基礎層，是適于大數據應用的并行I/O系統重要組成部分，其不僅向機群提供單一的存儲鏡像，而且還擴展了傳統文件系統對并行I/O的語義和接口限制。并行文件系統還提供了文件分條方法、分條文件在服務器間的分配方法、I/O服務器間并行訪問的協調機制（例如動態負載均衡）來保證高速的聚合I/O速度。有效的、面向分條文件的分配算法是并行I/O性能的有力保障。然而現有研究中目前仍然缺乏一種面向分條文件的、充分考慮文件請求的磁盤I/O沖突概率、采用啟發式的大數據文件分配系統，本發明即公開一種基于最小化IO訪問沖突和文件分條的大規模分條文件分配系統。