[發明專利]基于私有云存儲的海洋實時數據同步系統

無效

• 申請號: 201110394241.5
• 申請日: 2011-12-02
• 公開（公告）號: CN102404406A
• 公開（公告）日: 2012-04-04
• 發明（設計）人: 黃冬梅;張弛;張明華
• 申請（專利權）人: 上海海洋大學
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及一種數據存儲系統，特別是一種基于私有云存儲的計算機文件利用網絡存儲技術實現的數據同步方法。

背景技術

隨著數據流模型的實例化研究平臺：“數字海洋”輔助決策系統的建設和完善，當前科研人員和業務化使用人員對輔助決策系統的需求不僅僅是將海洋數據“數字化”存儲，這在“數字海洋”建設第一階段已經完成，在“數字海洋”輔助決策系統的研發和業務化使用過程中，科研人員和業務使用者提出了一些新的問題，比如如何對海量數據動態分配存儲空間以保證其存儲系統的負載均衡性和可靠性，并可以更加節約人力和財力資源，因為在實際工作中，服務器集群和冷卻所消耗的電量極大，而且海洋實時監測數據源源不斷的從采集觀測站發送到各自所屬的海洋站中做存儲，海洋站將實時數據存儲并傳輸到所屬海洋中心站，各海洋中心站最終將實時數據存儲后發送至海區中心站做存儲和數據挖掘。實際工作中，海區中心站服務器將每一條數據的不同屬性提取出來，將具體的屬性值存儲到有著不同業務需求的專題數據庫中，而不是整條存儲數據。由于海洋數據具有海量、多源、異構的特點，當實時數據不間斷的傳輸至海區中心站時，接收數據的服務器將會出現計算入庫延遲甚至由于不停計算存儲空間產生了操作系統死鎖最終導致死機，嚴重影響了海洋中心站的業務進度。比如在實際工作中，海洋臺站以頻率為每10分鐘發送一條大小為1MB的監測數據到海洋中心站，假設國家海洋局某海區中心站同時接收15個海洋中心站(每個海洋中心站由15個臺站組成)發送的實時監測數據，而且當服務器集群在分配存儲空間的同時，一些服務器仍需面對負載比較重的請求比如進行計算密集的查詢、數據庫訪問等；而大部分服務器僅僅負載比較輕的請求比如只需要讀一個HTML頁面或者進行很簡單的計算，該服務器集群的負載不均衡性將會導致個別服務器死機甚至造成整個數字海洋系統的工作效率降低。然而以上假設也僅僅考慮了每個臺站僅發送的一條數據所耗費的資源量，事實上海洋臺站采集各種海洋數據并將這些數據分成若干條發送至海洋中心站進行存儲，海區服務器集群的負載壓力可想而知。所以符合實際需求的海洋數據的存儲動態負載均衡存儲問題急需解決。

私有存儲云只對受限的用戶提供相應的存儲服務，使用存儲服務的用戶不需要了解“云”組成的具體細節，只要知道相應的接口，并提供相應的策略，剩下的工作交由“云”來完成，這朵“云”就提供存儲空間，并且其中的數據可以做到隨時訪問，就像訪問本地的存儲一樣。作為云端則在不影響用戶的情況下，提供了很多的附加功能，使得云成為高效、可靠、安全的存儲池。就較低的整體存儲成本而言，使用云存儲技術的好處對非結構化數據來說是顯而易見的。云存儲技術是以服務為基礎，無需購買、管理和維護存儲硬件設備，私有云存儲具有的特點是：1.統一管理；2.易于實現集中備份及容災；3.易于擴展、升級方便；4.節約成本，綠色節能。

隨著海洋數據傳輸專線的不斷升級和網絡電腦性能的不斷提高，海洋數據傳輸網絡已經具備了構建私有云存儲海洋數據的條件，構建基于數字海洋數據傳輸專線的私有云存儲的優勢包括：1.提高靈活性，包括顯著縮短內部傳輸響應時間；2.通過提高資源利用率來實現更高的效率，包括大幅節約能源；3.充分利用網絡內部空閑的硬件和軟件，在提升可用性的同時，最大程度地控制成本增加；4.利用全新的數據同步入庫系統來優化改進數據管理機制，私有云存儲技術通過消除傳統數據存儲預期的增長容量和負載而配置的大量存儲空間，以達到數據空間接近100％的利用率。除了以上提到的四個優勢外，私有云存儲還具有可擴展性、透明的支持基礎能力和解決高峰負荷能力強等特點。

發明內容

本發明是利用海洋數據傳輸專線網絡，構建一個海洋傳輸的私有云存儲系統，私有云存儲不僅是在通過統一數據接口進行傳輸和存儲實時數據功能中發揮了作用，更重要的是該存儲系統將會優化現有的實時數據多數據庫存儲機制，可以實現當實時數據傳輸到海區中心站時，利用私有云存儲系統對每條新數據的屬性進行存儲并分析，根據目標專題數據庫不同的業務需求，自動智能的提取相關屬性值分別入庫存儲。

附圖說明

圖1為本發明所揭示的私有云存儲的多數據庫同步系統的框架圖。

圖2為本發明所揭示的私有云存儲系統工作流程圖。

具體實施方式