[發明專利]一種海量教育文件關聯存儲方法

在審

• 申請號: 201810496005.6
• 申請日: 2018-05-22
• 公開（公告）號: CN108664664A
• 公開（公告）日: 2018-10-16
• 發明（設計）人: 曹晟;畢丙偉;鄒杰成;王靖;梅亞雙;陳澤東
• 申請（專利權）人: 電子科技大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 成都行之專利代理事務所(普通合伙) 51220
• 代理人: 溫利平

本發明公開了一種海量教育文件關聯存儲方法，包括四個部分，分別是海量教育文件的歸并、海量教育文件關聯方法中局部索引確定、海量教育文件的緩存與預取和海量教育文件碎片的整理。本發明包括針對數量大、關聯多、類型廣的教育資源小文件的存儲步驟，可有效提升存儲空間的利用率，方便易用且成本更低，對海量教育文件的關聯存儲領域具有充分性、必要性和高效性，可廣泛應用于海量小文件存儲領域。

技術領域

本發明涉及海量數據，教育文件，索引機制，關聯關系，小文件存儲領域，特別涉及一種海量教育文件關聯存儲方法。

背景技術

HDFS(hadoop distributed file system)是一個具有高容錯性、成本低廉性等特點的分布式文件系統。HDFS是為處理海量大文件而設計的，在處理海量小文件時存在以下幾點問題：海量小文件耗費主節點內存，可能造成NAMEDODE 瓶頸問題；海量小文件的I/O效率低，沒有一種優化機制來提高I/O性能；HDFS 下沒有明確的能夠區分何為小文件的分界點；沒有考慮海量小文件之間的相關性等。教育資源小文件包括各種形式的教育資源，如word文檔、pdf文檔、ppt 課件及文本資料等，只要與教育資源相關且大小遠小于64MB的文件都可稱為教育資源小文件。教育資源小文件具有以下特點：這些文件的大小通常為幾十到幾百KB，存儲引擎不能高效的存儲大量的小文件；小文件之間有關聯性，整理歸檔同類課程的小文件然后進行合并；小文件的數量很多，因為網絡中存在的各種學習資源量非常大，且不斷地以指數級的速度增長。

申請人檢索出以下與海量教育文件關聯存儲相關的文獻如下：

1.歐陽濤，Hadoop分布式文件系統及其存儲優化方法，專利，2015

2.李雪蓮，李強等，分布式文件系統及其存儲海量小文件的方法，專利， 2015

3.鄭慶華，董博等，一種基于Hadoop的海量可歸類小文件關聯存儲方法，專利，2011

文獻1提出一種Hadoop分布式文件系統及其存儲優化方法。基本思想是先對文件進行判斷是是否為小文件，然后進行優化處理，沒有充分考慮文件中的關聯性，并利用關聯性進行存儲。

文獻2提出了一種分布式文件系統及其存儲海量小文件的方法，以解決目前的海量小文件存儲的效率較低的問題。這種方法提出了如何有效地將小文件合并成小文件來存儲，但是沒有考慮到存儲之后的碎片與緩存問題。

文獻3提出了一種基于Hadoop的海量可歸類小文件關聯存儲方法，主要解決可歸類小文件的存取效率問題。其基本思想是將同一類別文件的小文件聚合成一個文件，然后對每一個小文件建立存放在NameNode內存中的全局索引。這種方法只考慮了將小文件歸并和對小文件建立索引，沒有考慮到文件合并之后的碎片問題，而且沒有對合并之后文件的存取操作進行詳細說明。

發明內容

針對背景技術文獻的方法中所存在的缺陷和不足，本發明的目的是提供一種關聯存儲方法用于解決海量教育文件的存儲問題。

為達到以上目的，本發明是采取如下技術方案予以實現的：

一種海量教育文件關聯存儲方法，其特征在于，包含如下步驟：

(1)海量教育文件的歸并；

Step1：將屬于某個大文件的所有小文件歸并為一個文件，稱為merged file；

Step2：對每個merged file建立一個局部索引，并在上傳時將局部索引文件與文件實體一同存放在Hadoop系統的DataNode上；

Step3：在讀取非獨立小文件時，采用元數據緩存、局部索引文件預取和關聯文件預取提高文件的讀取效率。

(2)海量教育文件中的局部索引；