[發(fā)明專利]用于遷移活動文件系統(tǒng)的方法、設備和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202180041676.3
• 申請日: 2021-04-05
• 公開（公告）號: CN115698974A
• 公開（公告）日: 2023-02-03
• 發(fā)明（設計）人: Y·阿拉德;R·圖里梅拉;C·麥基
• 申請（專利權）人: 萬迪斯科股份有限公司
• 主分類號: G06F16/11
• 分類號: G06F16/11;G06F16/182
• 代理公司: 深圳市百瑞專利商標事務所(普通合伙) 44240
• 代理人: 金輝

一種在處理對元數(shù)據(jù)進行操作的命令時將元數(shù)據(jù)從具有有根樹結構的提供者文件系統(tǒng)D遷移到受讓者文件系統(tǒng)B的計算機實現(xiàn)的方法可以包括，當沒有接收到對元數(shù)據(jù)進行操作的命令時，通過將提供者文件系統(tǒng)D的節(jié)點的元數(shù)據(jù)順序復制到受讓者文件系統(tǒng)B來在受讓者文件系統(tǒng)B處復制提供者文件系統(tǒng)D。當只有一些參數(shù)存在于受讓者文件系統(tǒng)B中時，該命令可以入隊，至少直到該命令的所有參數(shù)都存在于受讓者文件系統(tǒng)B中。當其所有參數(shù)都存在于受讓者文件系統(tǒng)B中時，入隊的命令可以出隊并被調度執(zhí)行。

背景技術

如今，所謂的大數(shù)據(jù)在云中找到了天然的歸宿。在云中，領先的公司正在充分利用廉價、可擴展的存儲以及強大的云分析平臺帶來的靈活性。然而，盡管將大數(shù)據(jù)遷移到云有令人信服的優(yōu)勢，但也存在潛在的業(yè)務風險。

將大數(shù)據(jù)遷移至云的一種方法是手動完成。手動遷移是拷貝大數(shù)據(jù)的一種定制的戰(zhàn)術方法。當管理員手動遷移數(shù)據(jù)時，他們會創(chuàng)建、管理、安排和維護自定義或開源腳本來遷移大型數(shù)據(jù)集。當數(shù)據(jù)傳輸設備添加到大數(shù)據(jù)到云的遷移計劃中時，需要額外的自定義腳本來上傳數(shù)據(jù)。這種手動大數(shù)據(jù)云遷移方法的業(yè)務風險包括數(shù)據(jù)不一致、業(yè)務中斷和高IT資源要求。

數(shù)據(jù)不一致的風險

大型數(shù)據(jù)集遷移至云需要時間。以每秒1千兆位(Gbps)的速度遷移1拍字節(jié)(PB)的數(shù)據(jù)大約需要100天。即使有數(shù)據(jù)傳輸設備，供應商的加載時間也需要數(shù)周。雖然使數(shù)據(jù)在云中可用，但仍然需要更改和接收。在漫長的遷移時間內更改數(shù)據(jù)會增加將大規(guī)模數(shù)據(jù)集準確引入云的風險。然而，由于手動遷移依賴于側重于復制數(shù)據(jù)的自定義或開源腳本，遷移團隊可能無法驗證遷移的準確性。事實上，大規(guī)模手動對賬并不能保證數(shù)據(jù)結果完全一致。此外，這種方法不支持遷移過程中可能發(fā)生的新更新。通常，大規(guī)模數(shù)據(jù)遷移的手動方法不支持遷移期間修改或創(chuàng)建的數(shù)據(jù)更改。

業(yè)務中斷的風險

由于規(guī)模和適用性優(yōu)勢，組織已將越來越多的任務關鍵型工作負載部署到Hadoop。企業(yè)關鍵型工作負載帶來了對可用性、一致性、安全性和可審核性的期望。就復雜性而言，移動不變的數(shù)據(jù)集很簡單，而移動具有這些預期的動態(tài)變化的數(shù)據(jù)集則非常具有挑戰(zhàn)性。在大數(shù)據(jù)遷移期間，手動遷移通常需要對本地應用程序操作進行有意義的中斷。選擇在數(shù)月內將數(shù)據(jù)集引入云的增量遷移策略的管理員面臨著處理破壞性更新的問題，并面臨無法滿足其企業(yè)服務級別協(xié)議(SLA)的風險。

高IT資源需求和成本增加的風險

公司為構建數(shù)據(jù)中心以托管其Hadoop數(shù)據(jù)和工作負載而進行的重大資本投資剛剛超過了通常的兩到四年折舊期，因此這些成本可以注銷。從資本硬件折舊轉移到云運營支出變得非常簡單。公司還在支持內部數(shù)據(jù)基礎架構的人員、流程和應用程序方面進行了大量投資。將手動遷移添加到這些沉沒成本中會給IT預算帶來風險。嘗試無中斷、無停機大數(shù)據(jù)遷移的活動開銷非常大。在數(shù)據(jù)遷移項目開始時，創(chuàng)建、測試、管理、安排和維護自定義遷移腳本所需的資源范圍可能沒有被完全理解，甚至無法量化。由于手動遷移的自定義性質，此類遷移計劃容易出現(xiàn)代價高昂的延遲。

附圖說明

圖1A是提供者(donor)D和受讓者(beneficiary)B的有根樹結構的圖示。

圖1B是根據(jù)一個實施例，顯示從由前緣和后緣界定的一組節(jié)點中拉出的內容的滑動窗口的圖示。

圖1C是根據(jù)一個實施方案，說明內容從提供者文件系統(tǒng)D遷移到受讓者文件系統(tǒng)B時，柵欄柱(fencepost)F的示意圖。

圖2所示為本計算機實施的方法和系統(tǒng)的一個實施例的各方面。

圖3為說明本計算機實施的方法和系統(tǒng)的其他方面的框圖。

圖4為顯示未遷移區(qū)域和遷移區(qū)域之間的重復重命名會阻礙遷移的方式的示意圖。

圖5顯示了將受讓者文件系統(tǒng)B的未遷移部分重命名為其已遷移部分的命令的各個方面。