[發明專利]一種基于混合結構的數字圖書館云存儲系統

在審

• 申請號: 201410539761.4
• 申請日: 2014-10-13
• 公開（公告）號: CN104462185A
• 公開（公告）日: 2015-03-25
• 發明（設計）人: 鄒志強;顏斌;姚毅;趙培志
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L29/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 奚幼堅

1.一種基于混合結構的數字圖書館云存儲系統，其特征是：針對數字圖書館中存在的多種不同類型和不同大小的文件，為數字圖書館文件的分布式存儲設計了基于Hadoop技術的混合結構，該混合結構同時支持HBase數據庫技術和傳統關系數據庫SQL?Server技術，所述混合結構包括以下部分：

1)數字圖書館的用戶，該用戶包括了支持讀寫功能的數字圖書館的Web端用戶和支持寫功能的數字圖書館的PC端用戶；

2)云存儲服務器，用于提供基于Tomcat的數字圖書館的Web端用戶的可視化操作界面，支持讀寫功能；

3)應用服務器，用于提供基于寫隊列的數字圖書館的PC端用戶實現寫功能；

4)混合結構中的核心控制模塊，用于在云存儲服務器和應用服務器之間提供一個信息交互的橋梁，從而實現對混合結構中的HBase和MySQL進行控制；

5)混合結構中的HBase部分，是建立在HDFS基礎之上的列數據庫；

6)混合結構中的HDFS部分，具體包括NameNode和DataNode；

7)混合結構中的MySQL部分，具體包括用戶元信息和文件元信息；

基于上述混合結構的數字圖書館云存儲系統，利用Hadoop技術，以HDFS集群作為后臺云存儲框架，構造了五個模塊：

(1)CSSDL_HS登錄模塊：提供CSSDL_HS的新用戶注冊、注冊用戶登錄和CSSDL_HS的用戶注銷，用戶按要求填入用戶名、密碼，進行登陸驗證；如果用戶信息驗證成功，則可以登陸系統；否則進入等待狀態，等待用戶重現輸入；該模塊通過數字圖書館的用戶來進行展現；

(2)CSSDL_HS用戶管理模塊：提供查看和修改CSSDL_HS用戶信息，依次通過數字圖書館的用戶、數字圖書館的PC端用戶、應用服務器、混合結構中的MySQL部分，并最終在混合結構中的MySQL部分存儲用戶的元信息；

(3)CSSDL_HS文件管理模塊：提供CSSDL_HS文件的智能預處理、上傳文件、下載文件、重命名文件和刪除文件；CSSDL_HS文件管理模塊是CSSDL_HS中的一個核心模塊，它首先分別經過數字圖書館的PC端用戶和數字圖書館的Web端用戶把信息分別傳遞給權云存儲服務器和應用服務器，接著經過混合結構中的核心控制模塊，實現云存儲服務器和應用服務器之間的信息交互，其中數字圖書館的數據文件由混合結構中的HBase完成分布式文件存儲，而數字圖書館的文件元信息由混合結構中的MySQL完成集中式存儲；

(4)CSSDL_HS文件夾管理模塊：提供CSSDL_HS的新建文件夾、重命名文件夾和刪除文件夾；當用戶注冊系統時，CSSDL_HS為該用戶新建一個文件夾，作為該用戶的根目錄，之后用戶所有的文件或文件夾操作包括新建、重命名和刪除，都在該根目錄下進行；通過數字圖書館的用戶，完成MySQL的操作；

(5)CSSDL_HS服務器管理模塊：用于提供查看CSSDL_HS服務器信息，依次通過數字圖書館的用戶、數字圖書館的PC端用戶，把信息分別傳遞給云存儲服務器，接著通過調用Hadoop的JMX接口，實時獲取HDFS服務器運行參數，這些使用JMX的Rest形式的參數經加工漢化后，顯示到網頁上供CSSDL_HS管理員進行監控和系統維護。

2.根據權利要求1所述的所述的基于混合結構的數字圖書館云存儲系統，其特征是：CSSDL_HS文件管理模塊中所述的CSSDL_HS文件的智能預處理，是通過增設的一個判斷上傳文件的大小的智能文件預處理模塊實現的，根據用戶設定的閾值智能地對文件進行預處理，設定兩個閾值，閾值1為16MB，閾值2為64MB，智能文件預處理模塊將多個小文件合并成大文件并建立索引，以便進行快速存取和訪問，具體如下：

(1)PC端用戶上傳文件；

(2)文件類型判斷，當上傳文件大于或者等于閾值2，直接送入HDFS處理；

(3)當上傳文件小于閾值2并且大于或者等于閾值1，先送入HBASE，再送入HDFS處理；

(4)當上傳文件小于閾值1時，送入小文件合并隊列，當該隊列中文件大小之和大于閾值2時，采用MapFile技術進行文件合并，然后將合并之后的大文件送入HDFS處理；否則返回小文件合并隊列。