[發明專利]一種基于多屬性最優化的海洋監測數據副本管理方法

有效

• 申請號: 201710201232.7
• 申請日: 2017-03-30
• 公開（公告）號: CN106886376B
• 公開（公告）日: 2019-08-30
• 發明（設計）人: 黃冬梅;賀琪;隨宏運;何盛琪;李瑤;吳國健;王龑;張燁宜
• 申請（專利權）人: 上海海洋大學
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F11/14;H04L29/08
• 代理公司: 上海卓陽知識產權代理事務所(普通合伙) 31262
• 代理人: 周春洪

技術領域

本發明涉及數據監測技術領域，具體地說，是一種基于多屬性最優化的海洋監測數據副本管理方法。

背景技術

隨著海洋觀測和預報技術快速發展，相關數據量爆炸式增長，海洋大數據發展正成為科學大數據的重要應用之一。海洋大數據主要包括雷達和衛星等觀測資料、數值預報模式結果以及預報產品等數據。根據以往關于海洋數據量的研究,2014年全球各種海洋數據總量約為25PB，預計2030年全球海洋數據總量將達到275PB。為了更好地適應海洋監測實時大數據的處理和分析，需采用云環境下的分布式存儲模式。然而，在云存儲系統復雜的網絡環境中，單一的數據存儲往往會受到網絡以及機架存儲結點的影響，出現數據傳輸延遲甚至存取數據失效，因而添加數據的副本能夠增加系統的穩定性，提升存取數據的性能和效率。所以，設計面向海洋監測大數據的副本管理方法具有很大的必要性。

副本技術是將一個數據項復制多份分別存放在分布式系統的多個節點上，用以提高系統的可靠性、負載均衡以及訪問速率，它是一種最為常用和重要的數據管理機制。然而，在提升系統各方面性能的同時，副本技術也帶來了一系列的管理和開銷問題。目前，研究者己經提出了多種副本管理策略。

一種用于GFS的靜態分布式數據副本算法，它從以下三個方面來決定數據塊的副本：1)將新的副本放置到磁盤空間使用率低于平均值的數據服務器上。2)限制每臺數據服務器最近創建副本的次數。3)將數據塊的不同副本分布到不同的機架上。這一算法的缺點就是他對系統中的所有數據都分配一個固定的副本數目，這對于數據來說并不是一個最佳的選擇。

一種云數據中心內新型的費用有效的動態數據副本策略CIR，它為了達到費用有效的目標，采用了一種增量副本的方式，使得在滿足系統可靠性需求的同時來最小化副本數目。他們提出的方法能夠減少數據存儲花費，特別是當數據僅僅只需存儲簡短的時間或者有比較低的可用性需求時。然而，他們的方法僅僅基于可靠性參數和亞馬遜S3的價格模型，從而使得它并不適應于比亞馬遜S3存儲單元有著更高故障率的谷歌集群。

中國發明專利CN201610912503.5，公開日為2017.03.15，公開了一種分布式塊數據的訪問方法，包括根據接收的數據訪問請求，獲取待訪問數據塊；獲取所述待訪問數據塊的至少兩個副本分別所在的至少兩個節點服務器；根據所述至少兩個節點服務器的負載值，行程至少兩個數值區間；在所述至少兩個數值區間內生成一個隨機數；根據所述隨機數以及所述至少兩個數值區間，從所述至少兩個節點服務器中，選擇一節點服務器；從選擇的所述節點服務器，訪問所述待訪問數據庫的一副本。該方法能夠實現節點服務器的負載均衡，但是該方法中副本的個數是一定的，不會隨著數據訪問的變化而變化，雖然能夠保證負載均衡，但是無法高效的將數據分布在云環境中，會造成存儲空間的浪費。

中國發明專利CN201580024098.7，公開日為2017.02.22，公開了一種分布式遠程數據存儲訪問方法，包括在第一網絡附接存儲設備(NAS)的數據存儲的第一部分中存儲用戶數據；使能所述第一NAS的文件共享功能；指定所述第一NAS的數據存儲的第二部分用于與所述使能相結合的共享數據存儲；將所述用戶數據的至少一部分的副本提供給第二NAS用于存儲于其中；從所述第二NAS接收第三方數據的副本；在所述第一NAS的數據存儲的第二部分中存儲所述第三方數據的副本；從所述第一NAS下載所述用戶數據的至少一部分；從所述第二NAS下載所述用戶數據的副本的至少一部分。其將數據村淳分布在一個或多個數據存儲設備上，可以通過數據冗余提供增加數據安全性或數據訪問，但是該方法只能用于較少數據的存儲及訪問，無法用于大量數據的存儲及訪問，無法在對大量數據存儲訪問時提供效率、安全性。