[發明專利]針對圖書館海量數據的分布式存儲管理系統

在審

• 申請號: 201711238605.4
• 申請日: 2017-12-01
• 公開（公告）號: CN110019521A
• 公開（公告）日: 2019-07-16
• 發明（設計）人: 徐繼峰;祁建明;周峻松;陳墩金
• 申請（專利權）人: 廣州明領基因科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F3/06
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種針對圖書館海量數據的分布式存儲管理系統，該系統包括：平臺管理層、平臺配置與調度層、數據收集層、文件存儲層、數據存儲層、統一數據服務接口層以及大數據決策應用層；其中，所述平臺管理層主要負責對大數據存儲的管理工作；所述平臺配置與調度層負責平臺系統的參數配置和確保系統兼容性；所述數據收集層主要實現海量異構數據的收集、定義和類型劃分；所述文件存儲層是基于大量廉價存儲服務器設備構建的支持Hadoop計算框架的分布式大數據存儲子系統；所述數據存儲層主要由Hcatalog、HBase以及Redis組成；所述統一數據服務接口層用于提供統一和強兼容性的大數據讀寫接口；所述大數據決策應用層為圖書館業務部門提供大數據分析和決策支持。

技術領域

本發明屬于大數據存儲技術領域，涉及一種針對圖書館海量數據的分布式存儲管理系統。

背景技術

隨著云計算技術、傳感器網絡技術、移動寬帶傳輸技術和終端設備制造技術的發展，圖書館的服務模式和讀者閱讀方式發生了巨大變革，以讀者為中心的個性化服務定制和服務內容的智能推送，已經成為圖書館當前的主要服務模式。

在服務模式和讀者閱讀方式多樣化發展的同時，圖書館的用戶服務數據和讀者閱讀相關數據快速遞增，已從TB、PB量級向EB量級急速增長，圖書館已進入大數據時代。

圖書館大數據每年平均以50％的速度快速激增，其中非結構化和半結構化數據占據大數據總量的85％以上。此外，圖書館大數據決策系統對數據的存取具有高效、精準、快速和實時的要求，因此，傳統的關系型數據存儲系統已不能滿足圖書館大數據海量、指數級增長、快速存取、高吞吐率的存儲需求。

發明內容

本發明目的在于提供一種針對圖書館海量數據的分布式存儲管理系統，為了克服圖書館傳統關系型數據庫在海量數據存儲和訪問效率中存在的瓶頸問題，引入Hadoop技術架構，利用圖書館傳統的廉價存儲服務器集群設備存儲圖書館特有的半結構化與非結構化大數據，采用分布部署及就近存儲原則消除因網絡傳輸帶寬不足可能帶來的大數據決策瓶頸問題，有效地滿足了圖書館大數據決策和用戶服務對大數據存儲系統的高標準要求，實現了系統的較強存儲容錯性、快速、經濟、可擴展性、低故障率和透明存儲的優點。

為解決上述技術問題，本發明采用如下的技術方案：一種針對圖書館海量數據的分布式存儲管理系統，該系統包括：平臺管理層、平臺配置與調度層、數據收集層、文件存儲層、數據存儲層、統一數據服務接口層以及大數據決策應用層；其中，所述平臺管理層主要負責對大數據存儲安全性、運行效率、可靠性、經濟性和可控性的管理工作；所述平臺配置與調度層主要負責平臺系統的參數配置和確保系統兼容性，并為大數據存儲系統不同的結構層調度、分配系統資源；所述數據收集層主要實現結構化數據、半結構化數據和非結構化數據的收集、定義和類型劃分；所述文件存儲層是基于大量廉價存儲服務器設備構建的支持Hadoop計算框架的分布式大數據存儲子系統；所述數據存儲層主要由Hcatalog、HBase以及Redis組成；所述統一數據服務接口層用于提供統一和強兼容性的大數據讀寫接口；所述大數據決策應用層基于大數據存儲層的支持，為圖書館業務部門提供大數據分析和決策支持。

進一步地，所述數據收集層使用Sqoop工具，實現Hadoop和關系型數據庫中的數據相互轉移。

進一步地，所述文件存儲層支持巨量大數據決策者快速并發訪問、查詢和下載，以及存儲系統不停機動態擴容，數據正確性的自檢、復制、備份和恢復。

進一步地，所述統一數據服務接口層可兼容不同設備的數據傳輸機制，并根據大數據決策需求提供相應的數據讀取服務需求。

本發明與現有技術相比具有以下的有益效果：