[發明專利]面向云計算環境的分層存儲系統中的數據遷移方法

有效

• 申請號: 201310093809.9
• 申請日: 2013-03-22
• 公開（公告）號: CN104065685B
• 公開（公告）日: 2018-04-27
• 發明（設計）人: 劉磊;何東杰;何朔;魯志軍
• 申請（專利權）人: 中國銀聯股份有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F17/30
• 代理公司: 中國專利代理(香港)有限公司72001
• 代理人: 俞華梁,朱海煜

技術領域

本發明涉及分層存儲技術，更具體來說，涉及一種面向云計算環境的分層存儲系統中的數據遷移方法。

背景技術

在現有的大多數應用場景中，一個應用系統包含自身的一套業務系統、備份系統和歸檔系統。多系統情況下，由于平臺較多，系統的管理比較復雜，而且很容易造成容量空間的浪費，對每個系統的存儲能力做出了限制。

在當前方案下，如果一個企業的系統較多，則管理員要同時負責多個系統的維護工作，并且為每個系統設計備份系統和歸檔系統，并且隨著業務數據的增多，要定期的做數據備份歸檔，數據備份和歸檔系統要求具有一定的可擴展性，一般業務之間的存儲空間不能共用，造成有的系統空間使用較多，有些系統的空間利用率反而很低。如果需要查詢很久以前的數據，需要將歸檔系統中的數據進行數據恢復，數據量較大的時候成本較高，而且不容易找到所需數據。

由上可見，現有系統不能很好地滿足多應用系統統一管理，不能合理地使用空間。

發明內容

為解決上述問題，本發明提供了一種面向云計算的分層存儲系統。所述系統具有高吞吐量、高安全性、高可靠性和可擴展性，滿足了對多項業務數據的高性能、透明的數據遷移要求。

根據本發明的一個方面，提供了一種面向云計算環境的分層存儲系統中的數據遷移方法，所述分層存儲系統包括在線業務平臺和大數據平臺，所述數據包括結構化數據和非結構化數據并且在所述在線業務平臺與所述大數據平臺之間進行遷移，所述方法包括：確定待遷移的數據的類型；以及根據所述數據的類型而在所述在線業務平臺與所述大數據平臺之間進行遷移，其中，在確定待遷移的數據為結構化數據時，采用MapReduce架構來實現并行遷移，而在確定待遷移的數據為非結構化數據時，采用FTP方式來實現并行遷移。

在上述數據遷移方法中，所述在線業務平臺配置成存儲近期的數據，而所述大數據平臺配置成存儲長時期的業務數據。

在上述數據遷移方法中，采用MapReduce架構來實現并行遷移包括：獲取待轉移的數據源和約束參數；收集配置信息并且根據所述配置信息來相應地設置所述MapReduce架構中的任務的配置信息；以及調用所述任務來進行數據遷移。

在上述數據遷移方法中，所述約束參數包含映射的個數要求。

在上述數據遷移方法中，所述任務的配置信息包括輸入地址、輸出地址、映射器所使用類、輸入數據的格式以及輸出數據的格式。

在上述數據遷移方法中，采用FTP方式來實現并行遷移包括：獲取配置文件，其中所述配置文件包含數據遷移源數據文件夾地址、并發過程所采用的線程數量、遷移目的數據文件夾地址以及數據遷移后文件的命名方式；對所述配置文件進行解析；根據解析后的配置文件，建立FTP連接。

在上述數據遷移方法中，采用FTP方式來實現并行遷移還包括：在對所述配置文件進行解析后，判斷所要遷移的文件列表是否為空；其中，如果為空，則結束遷移，反之則啟動配置文件中指定個數的線程數進行數據遷移。

在上述數據遷移方法中，采用FTP方式來實現并行遷移還包括：在建立FTP連接后，判斷遷移是否成功；其中如果成功，則結束數據遷移，反之則將遷移錯誤信息打印到日志文件中。

本發明的技術方案通過采用一個大數據平臺完成了多個業務系統的數據備份，簡化了系統管理復雜性，提高了系統空間使用率，能夠實現在線業務平臺和大數據平臺之間的自動數據遷移。遷移的數據包含結構化數據和非結構化數據，采用了并發式的數據遷移模式以滿足系統對遷移的性能要求。

附圖說明

在參照附圖閱讀了本發明的具體實施方式以后，本領域技術人員將會更清楚地了解本發明的各個方面。本領域技術人員應當理解的是：這些附圖僅僅用于配合具體實施方式說明本發明的技術方案，而并非意在對本發明的保護范圍構成限制。

圖1是根據本發明的一個實施例的面向云計算存儲系統結構示意圖；

圖2是根據本發明的一個實施例的面向云計算存儲系統結構化數據遷移流程圖；

圖3是根據本發明的一個實施例的面向云計算存儲系統非結構化數據遷移流程圖。

具體實施方式

下面介紹的是本發明的多個可能實施例中的一些，旨在提供對本發明的基本了解，并不旨在確認本發明的關鍵或決定性的要素或限定所要保護的范圍。容易理解，根據本發明的技術方案，在不變更本發明的實質精神下，本領域的一般技術人員可以提出可相互替換的其它實現方式。因此，以下具體實施方式以及附圖僅是對本發明的技術方案的示例性說明，而不應當視為本發明的全部或者視為對本發明技術方案的限定或限制。