[發明專利]遷移文件列表的生成方法、裝置、電子設備及計算機可讀介質

在審

• 申請號: 202010109037.3
• 申請日: 2020-02-21
• 公開（公告）號: CN113297132A
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 白玉賓
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/11
• 分類號: G06F16/11;G06F16/14
• 代理公司: 北京合智同創知識產權代理有限公司 11545
• 代理人: 李杰;舒道宏

本申請實施例提供了一種遷移文件列表的生成方法、裝置、電子設備及計算機可讀介質，涉及數據存儲領域。其中，所述方法包括：獲取遷移任務中的數據源所包括的待掃描目錄中的多個目錄分區的信息；啟動多個掃描任務對所述多個目錄分區的信息指示的多個目標分區進行并發掃描；對并發掃描的掃描結果進行過濾處理，根據過濾處理結果生成所述數據源的遷移文件列表。通過本申請實施例，啟動多個掃描任務對多個目錄分區的信息指示的多個目標分區進行并發掃描，加快了對數據源的掃描速度，極大地提高了數據源的掃描性能，實現快速生成遷移文件列表，從而有效提高遷移文件列表的生成效率。

技術領域

本申請實施例涉及數據存儲領域，尤其涉及一種遷移文件列表的生成方法、裝置、電子設備及計算機可讀介質。

背景技術

隨著云計算對各個行業的滲透，上云已是大勢所趨，特別是存儲系統遷移到云存儲，例如，應用于云存儲中的對象存儲服務。單用戶遷移上云，數據量已達百PB級別，文件數已達百億級別。數據遷移首先需要生成遷移文件列表，然后逐文件遷移。遷移文件列表通過掃描數據源生成，遷移文件列表的生成效率，直接影響數據遷移效率。特別是增量遷移時，時間都消耗在掃描數據源，找出增量文件，生成增量遷移文件列表。對于百億級文件，按照常規方法，通過單線程掃描數據源生成遷移文件列表，遷移文件列表的生成效率較低，根本無法滿足用戶高效上云的需求，增量遷移更是無從談起。由此可見，如何有效提高遷移文件列表的生成效率成為當前亟待解決的技術問題。

發明內容

本申請的目的在于提出一種遷移文件列表的生成方法、裝置、電子設備及計算機可讀介質，用于解決現有技術中存在的如何有效提高遷移文件列表的生成效率的技術問題。

根據本申請實施例的第一方面，提供了一種遷移文件列表的生成方法。所述方法包括：獲取遷移任務中的數據源所包括的待掃描目錄中的多個目錄分區的信息；啟動多個掃描任務對所述多個目錄分區的信息指示的多個目標分區進行并發掃描；對并發掃描的掃描結果進行過濾處理，根據過濾處理結果生成所述數據源的遷移文件列表。

根據本申請實施例的第二方面，提供了一種遷移文件列表的生成裝置。所述裝置包括：獲取模塊，用于獲取遷移任務中的數據源所包括的待掃描目錄中的多個目錄分區的信息；啟動模塊，用于啟動多個掃描任務對所述多個目錄分區的信息指示的多個目標分區進行并發掃描；第一生成模塊，用于對并發掃描的掃描結果進行過濾處理，根據過濾處理結果生成所述數據源的遷移文件列表。

根據本申請實施例的第三方面，提供了一種電子設備，包括：一個或多個處理器；計算機可讀介質，配置為存儲一個或多個程序，當所述一個或多個程序被所述一個或多個處理器執行，使得所述一個或多個處理器實現如上述實施例的第一方面所述的遷移文件列表的生成方法。

根據本申請實施例的第四方面，提供了一種計算機可讀介質，其上存儲有計算機程序，該程序被處理器執行時實現如上述實施例的第一方面所述的遷移文件列表的生成方法。

通過本申請實施例提供的遷移文件列表的生成方案，獲取遷移任務中的數據源所包括的待掃描目錄中的多個目錄分區的信息，并啟動多個掃描任務對多個目錄分區的信息指示的多個目標分區進行并發掃描，再對并發掃描的掃描結果進行過濾處理，根據過濾處理結果生成數據源的遷移文件列表，與現有的其它方式相比，啟動多個掃描任務對數據源所包括的待掃描目錄中的多個目錄分區的信息指示的多個目標分區進行并發掃描，加快了對數據源的掃描速度，極大地提高了數據源的掃描性能，實現快速生成遷移文件列表，從而有效提高遷移文件列表的生成效率。

附圖說明

通過閱讀參照以下附圖所作的對非限制性實施例所作的詳細描述，本申請的其它特征、目的和優點將會變得更明顯：

圖1A為本申請實施例一中遷移文件列表的生成方法的步驟流程圖；

圖1B為根據本申請實施例一提供的遷移文件列表的生成過程的示意圖；

圖1C為根據本申請實施例一提供的掃描代價樹的示意圖；