[發明專利]一種基于混合結構的數字圖書館云存儲系統

在審

• 申請號: 201410539761.4
• 申請日: 2014-10-13
• 公開（公告）號: CN104462185A
• 公開（公告）日: 2015-03-25
• 發明（設計）人: 鄒志強;顏斌;姚毅;趙培志
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L29/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 奚幼堅

技術領域

本發明涉云存儲技術，尤其涉及一種基于混合結構的數字圖書館云存儲系統(簡稱CSSDL_HS)，屬于數字圖書館文件的分布式存儲的技術領域。本系統能夠解決數字圖書館場景中文件的分布式存儲問題，可以提高文件存儲的速度，減少可能帶來的人工誤操作，使得在網絡環境下數字圖書館中各種文件存儲具有更好的可靠性和無故障性。

背景技術

Hadoop分布式文件系統(Hadoop?Distributed?File?System，簡稱HDFS)是一個高度容錯的文件系統，支持分布式文件的存取，具有較高的安全性、穩定性。HDFS是一種Master/Slave架構，一臺服務器作為NameNode節點，其余服務器是DataNode數據節點。NameNode負責管理文件的命名空間、數據復制和客戶端對文件的訪問。DataNode在NameNode的管理下負責將文件中的數據保存在本地文件系統上。在基于混合結構的數字圖書館云存儲應用方面，HDFS具有如下特點：(1)硬件錯誤是常態而不是異態。HDFS對需要存儲的每一個數據塊都保存多份(用戶可以通過修改配置文件更改副本數量，本發明中默認為三份)并保存在不同的DataNode上，一旦某一個DataNode結點失效，NameNode就會將該數據塊復制到其他活躍的DataNode上，保證任何時候系統中的任一數據塊的正常數量比例不低于閾值。(2)流式數據訪問。HDFS系統的設計是數據批處理方式，而不是用戶交互處理。考慮更多的是提高數據訪問的吞吐量。(3)大規模數據集。因為一個HDFS集群里可以擴展到數百個結點，所以HDFS能提供整體較高的數據傳輸帶寬，從而更適于數字圖書館場景下各種大文件的網絡存儲。(4)簡單的一致性模型。HDFS系統中的文件采取一次寫入多次讀取的策略，方便了數據的訪問，也保證了數據的一致性。(5)可移植性，只要機器上安裝有Linux系統和Java虛擬機就可以部署HDFS。因此HDFS也繼承了Java的高度可移植性。

在當今網絡技術快速的發展情況下，信息技術不斷發展，以印刷型書刊資料為主要收藏載體的傳統圖書館難以適應這些新技術帶來的新需求，也使得數字圖書館走上了歷史舞臺，數字資源的使用者和數字資源的種類、數量迅速增長，促進了數字圖書館的快速發展。然而數字圖書館現在所使用的存儲技術都在不同程度上存在技術缺陷。目前數字資源的主要存儲設備是磁帶和主要采用SATA接口的磁盤，系統存儲容量擴充難度大，存儲在系統中的數據安全性較低，難以保證數據存儲的可靠性、無故障性。資金投入量較大，使得現有的存儲系統難以滿足新服務的發展帶來的日益增長的服務需求，也沒有統一而可行的存?儲技術標準指導數字圖書館資源的存儲系統建設，嚴重地阻礙了應用服務器與存儲系統之間的高速數據傳輸，整個系統極度缺乏快速數據備份和故障恢復能力，系統的運行也不穩定。

以云存儲為基礎的存儲系統有四大決定性優勢：

1)無限擴充。云存儲系統采用了網格技術、P2P技術和集群技術，支持大規模的數據存儲，數字圖書館用戶可以動態添加和管理存儲結點和存儲設備。

2)實時數據遷移和快速備份。在云存儲中，所有的存儲設備和存儲結點對于服務對象都是一個整體，采用虛擬化技術對所有的存儲設備進行邏輯上的劃分，形成一個個邏輯分區，新數據一旦被傳入，系統會進行快速備份。

3)投入資金量小。不需要高檔的中小型計算機，可以由低廉的一般計算機組成。

4)高安全性。數據和文件被保存在不同的存儲結點上，并留有文件存儲位置的索引，若某文件無法被訪問，操作指令將被存儲系統自動的發送到另一臺存儲有此文件存儲結點上，使文件的訪問正常進行。

綜上所述，云存儲技術非常適合存儲數字圖書館資源，為圖書館節省了龐大的存儲設施，不僅減少了經費開支、也提高了數字圖書館資源存儲的安全性，從而加速了數字圖書館的發展。

Java?Management?eXtensions技術，簡稱JMX技術，在標準Java技術基礎上擴展的，定義管理系統和資源之間交互標準的管理規范，是管理系統和資源之間的一個接口。在Hadoop技術的支持下，JMX提供了獲取NameNode、DataNode以及JobTracker運行的接口，并可以通過Web的形式展現出來。

發明內容

本發明基于上述的技術，提出并實現了一種基于混合結構的數字圖書館云存儲系統，能夠解決數字圖書館場景中文件的分布式存儲問題，可以提高文件存儲的速度和可靠性，減少可能帶來的人工誤操作，達到在網絡環境下高效管理數字圖書館中各種文件的目的。

本發明采用的技術方案如下：