[發明專利]一種網絡文件的動態副本存儲方法

有效

• 申請號: 201310282367.2
• 申請日: 2013-07-05
• 公開（公告）號: CN103327116A
• 公開（公告）日: 2013-09-25
• 發明（設計）人: 袁東風;王君君;張海霞;江銘炎;劉亞;馬翠云;王麗萍;王宏賓;李宗璋;于莉;孫志猛
• 申請（專利權）人: 山東大學
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 濟南金迪知識產權代理有限公司 37219
• 代理人: 許德山

技術領域

本發明涉及一種網絡文件的動態副本存儲方法，屬于分布式存儲技術領域。

背景技術

隨著網絡和信息技術的迅猛發展，現代化的終端如瘦客戶端、手機等正以一種勢不可擋的力量充斥著人們的日常工作、學習和生活。但是，由于終端的存儲空間十分有限，如何使人們能夠隨時隨地對自己的私有文件進行有效存儲和管理就變得十分有意義。時下，網絡磁盤如115網盤、金山網盤等十分流行，而這種網絡存儲若是將文件數據集中存儲在一個服務器上，那么存儲服務器的性能就會成為系統性能的瓶頸，也面臨著可靠性和安全性等問題。所以，隨著云計算的深入發展，分布式文件系統應運而生，它將大量不同類型的存儲設備集合起來協同工作，將數據分散存儲在多臺獨立的設備上，形成一個安全的數據存儲系統，并且對外提供訪問接口，并通過管理服務器定位存儲信息，大大提高了存儲系統的可靠性、可用性、可擴展性和存儲效率。故可將分布式文件系統與網絡磁盤相結合，實現網絡文件的分布式存儲，如專利號為201110448040.9，名稱為《一種基于瘦客戶端的文件分布式存儲的運行方法》的專利就屬此列。

鑒于網絡磁盤的用戶使用頻率是有很大差異的，而現有的分布式文件存儲系統，如Hadoop、MooseFS等為提高存儲的可靠性，往往對每個文件都設置相同的副本數目，所以在某種程度上，這是一種存儲資源的浪費。那么，如果可以為使用頻繁的用戶設置更高的副本數目，而使用頻率很低的用戶設置相對較低的副本數目就可以合理化利用存儲資源了。本發明正是基于該思想，提出了一種網絡文件的動態副本存儲方法，為分布式存儲系統設置三個副本等級（1至3），對用戶的登陸次數進行實時統計更新，利用K-means算法將用戶登陸次數根據登陸多少合理劃分為3類，相應地為每個類的用戶設置不同的副本數目。由此，將該方法運用到分布式存儲系統中，就可以根據用戶的使用頻率對網絡磁盤用戶的文件進行合理的分布式存儲，既保證了存儲的可靠性，又提高了存儲資源的利用率。

發明內容

針對現代化的終端的存儲限制以及現有分布式文件存儲系統的副本設置的不足，本發明提出了一種網絡文件的動態副本存儲方法。

本發明的技術方案如下：

一種網絡文件的動態副本存儲方法，由以下系統來實現，該系統包括網絡磁盤、MySQL數據庫服務器和分布式存儲服務器集群，其中網絡磁盤是基于Web的網絡文件存儲磁盤；MySQL數據庫服務器是安裝有MySQL的數據庫服務器；分布式存儲服務器集群是一個分布式文件存儲系統，它包括一個控制節點（Control?Node）和多個存儲節點(Storage?Node)，其中，控制節點用于監控用戶存儲目錄的文件操作（創建、重命名、刪除），并維護用戶文件副本列表、文件存儲位置列表和集群節點列表，存儲節點是用戶文件的真正存放位置，控制節點和存儲節點之間通過TCP?Socket進行通信。該系統三部分之間的關系為：MySQL數據庫服務器上存儲著網絡磁盤的用戶信息表（users），在分布式存儲服務器集群的控制節點上布設網絡磁盤的Apache以及用戶存儲目錄，所有用戶的網絡請求都是以控制節點為中樞進行處理的，用戶的文件最終存儲在存儲節點上，該存儲方法具體步驟如下：

1）在MySQL數據庫服務器上創建用戶信息表，設置UserName、LoginCount和RepNum字段，其中UserName表示網絡磁盤的用戶名，LoginCount表示用戶的登陸次數，RepNum表示用戶的文件副本數目，LoginCount會隨著用戶登陸次數的增加而不斷更新；

2）控制節點從用戶信息表中讀取LoginCount字段，并將所有用戶的登陸次數寫入并輸出到本地的LoginCount.txt文件中；

3）利用K-means算法，將所有用戶的登陸次數按照登陸多少分為A，B和C三類；

4）分別獲取三個類的類邊界和類中心，即最小值、類中心、最大值，并將其存放在一個數組中，進而對該數組進行排序，從而將所有的類邊界和類中心按照由小到大的順序存放于數組中，如A1是類A的最小值，A2是類A的類中心，A3是類A的最大值，同樣B1、B2、B3分別是類B的最小值、類中心和最大值，C1、C2、C3分別是類C的最小值、類中心和最大值，則按照由小到大對數組內數值排序為：A1<A2<A3<B1<B2<B3<C1<C2<C3；

5）再次從用戶信息表中讀取LoginCount字段，根據A,B,C三個類的類邊界決定所有用戶的文件副本數目：

a)若用戶登陸次數小于等于A3，則RepNum=1；