[發明專利]面向云計算環境的分層存儲系統中的數據遷移方法

有效

• 申請號: 201310093809.9
• 申請日: 2013-03-22
• 公開（公告）號: CN104065685B
• 公開（公告）日: 2018-04-27
• 發明（設計）人: 劉磊;何東杰;何朔;魯志軍
• 申請（專利權）人: 中國銀聯股份有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F17/30
• 代理公司: 中國專利代理(香港)有限公司72001
• 代理人: 俞華梁,朱海煜

1.一種面向云計算環境的分層存儲系統中的數據遷移方法，其特征在于，所述分層存儲系統包括在線業務平臺和大數據平臺，所述數據包括結構化數據和非結構化數據并且在所述在線業務平臺與所述大數據平臺之間進行遷移，所述方法包括：

確定待遷移的數據的類型；以及

根據所述數據的類型而在所述在線業務平臺與所述大數據平臺之間進行遷移，其中，在確定待遷移的數據為結構化數據時，采用MapReduce架構來實現并行遷移，而在確定待遷移的數據為非結構化數據時，采用FTP方式來實現并行遷移，

其中，在非結構化數據遷移的過程中采用增量數據遷移方法，同步所述在線業務平臺和所述大數據平臺的時間，將已經超過生命期的在線業務平臺上的數據遷移到大數據平臺，

其中，對結構化數據采用MapReduce架構并行地進行遷移，將大量的數據復制到Hadoop，復制工作由集群并行運行的映射任務完成，

其中，結構化數據遷移的過程中采用資源調度算法進行負載均衡，檢查現有磁盤的負載使用情況，如果磁盤IO已經超過了一定閾值，則不再分配映射任務。

2.如權利要求1所述的數據遷移方法，其中，所述在線業務平臺配置成存儲近期的數據，而所述大數據平臺配置成存儲長時期的業務數據。

3.如權利要求1所述的數據遷移方法，其中，采用MapReduce架構來實現并行遷移包括：

獲取待轉移的數據源和約束參數；

收集配置信息并且根據所述配置信息來相應地設置所述MapReduce架構中的任務的配置信息；以及

調用所述任務來進行數據遷移。

4.如權利要求3所述的數據遷移方法，其中，所述約束參數包含映射的個數要求。

5.如權利要求3所述的數據遷移方法，其中，所述任務的配置信息包括輸入地址、輸出地址、映射器所使用類、輸入數據的格式以及輸出數據的格式。

6.如權利要求1所述的數據遷移方法，其中，采用FTP方式來實現并行遷移包括：

獲取配置文件，其中所述配置文件包含數據遷移源數據文件夾地址、并發過程所采用的線程數量、遷移目的數據文件夾地址以及數據遷移后文件的命名方式；

對所述配置文件進行解析；

根據解析后的配置文件，建立FTP連接。

7.如權利要求6所述的數據遷移方法，其中，采用FTP方式來實現并行遷移還包括：

在對所述配置文件進行解析后，判斷所要遷移的文件列表是否為空；

其中，如果為空，則結束遷移，反之則啟動配置文件中指定個數的線程數進行數據遷移。

8.如權利要求6所述的數據遷移方法，其中，采用FTP方式來實現并行遷移還包括：

在建立FTP連接后，判斷遷移是否成功；

其中如果成功，則結束數據遷移，反之則將遷移錯誤信息打印到日志文件中。