[發(fā)明專利]遷移數(shù)據(jù)的校對方法、裝置、設備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010091715.8
• 申請日: 2020-02-12
• 公開（公告）號: CN111290998A
• 公開（公告）日: 2020-06-16
• 發(fā)明（設計）人: 蘭東平
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/11
• 分類號: G06F16/11;G06F11/10
• 代理公司: 深圳市世紀恒程知識產(chǎn)權代理事務所 44287
• 代理人: 徐進之

本發(fā)明提供一種遷移數(shù)據(jù)的校對方法、裝置、設備及存儲介質(zhì)，即在源端中獲取遷移前的待遷移文件以及云端中遷移后的待校驗文件；計算各個待遷移子文件對應的子標準摘要散列值，并基于各個子標準摘要散列值以及各個待遷移子文件大小，計算所述待遷移文件對應的總標準摘要散列值；計算各個待校驗子文件對應的子待校驗摘要散列值，并基于各個子待校驗摘要散列值以及各個待校驗子文件大小，計算所述待校驗文件對應的總待校驗摘要散列值；對所述待校驗文件進行校對，若所述總標準摘要散列值與所述總待校驗摘要散列值相同，則判定所述待校驗文件遷移成功。本發(fā)明減少了文件比對次數(shù)，提升了文件遷移效率，降低了遷移成本。

技術領域

本發(fā)明涉及數(shù)據(jù)處理技術領域，尤其涉及一種遷移數(shù)據(jù)的校對方法、裝置、設備及計算機可讀存儲介質(zhì)。

背景技術

隨著云計算的推廣，越來越多的用戶需要將數(shù)據(jù)遷移到云端進行存儲，特別是對象存儲。遷移的數(shù)據(jù)量很大，達到TB甚至PB級。數(shù)據(jù)上傳到對象存儲過程中，可能會出現(xiàn)漏遷、誤遷，網(wǎng)絡傳輸丟失數(shù)據(jù)包等錯誤。為了保證數(shù)據(jù)的完備性，一定需要做數(shù)據(jù)對賬。傳統(tǒng)做數(shù)據(jù)對賬的辦法，往往把上傳前、上傳后的數(shù)據(jù)一一進行對比。不同的場景下，對比的方法也不同。如逐個對比文件的大小、MD5(Message-Digest Algorithm，消息摘要算法)，一旦發(fā)現(xiàn)有一個文件不對，則需將原文件重新上傳，并再次重復上述數(shù)據(jù)校對步驟，直到全部完成。上述逐個文件對比的辦法雖然能保證準確性，但因為逐個文件進行數(shù)據(jù)校對，每次數(shù)據(jù)校對都要經(jīng)過網(wǎng)絡傳輸文件大小、MD5，不僅數(shù)據(jù)校對效率低下，而且增加了數(shù)據(jù)校對成本。因此，如何解決現(xiàn)有數(shù)據(jù)校對效率低下以及數(shù)據(jù)校對成本較高的技術問題，成為了目前亟待解決的技術問題。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于提供一種遷移數(shù)據(jù)的校對方法、裝置、設備及計算機可讀存儲介質(zhì)，旨在解決現(xiàn)有數(shù)據(jù)校對效率低下以及數(shù)據(jù)校對成本較高的技術問題。

為實現(xiàn)上述目的，本發(fā)明提供一種遷移數(shù)據(jù)的校對方法，所述遷移數(shù)據(jù)的校對方法包括以下步驟：

在檢測到數(shù)據(jù)遷移指令時，在源端中獲取遷移前的待遷移文件以及云端中遷移后的待校驗文件；

計算所述待遷移文件中各個待遷移子文件對應的子標準摘要散列值，并基于各個子標準摘要散列值以及各個待遷移子文件大小，計算所述待遷移文件對應的總標準摘要散列值；

計算所述待校驗文件中的各個待校驗子文件對應的子待校驗摘要散列值，并基于各個子待校驗摘要散列值以及各個待校驗子文件大小，計算所述待校驗文件對應的總待校驗摘要散列值；

根據(jù)所述總標準摘要散列值與所述總待校驗摘要散列值對所述待校驗文件進行校對，若所述總標準摘要散列值與所述總待校驗摘要散列值相同，則判定所述待校驗文件遷移成功，并生成對應的文件遷移成功提醒消息。

可選地，所述在檢測到數(shù)據(jù)遷移指令時，在源端中獲取遷移前的待遷移文件以及云端中遷移后的待校驗文件的步驟之前，還包括：

根據(jù)預設排列規(guī)則，將所述所述源端中的各個待遷移子文件進行順序排列，并將排列后的各個待遷移子文件順序上傳至所述云端。

可選地，所述計算所述待遷移文件中各個待遷移子文件對應的子標準摘要散列值，并基于各個子標準摘要散列值以及各個待遷移子文件大小，計算所述待遷移文件對應的總標準摘要散列值的步驟具體包括：

計算所述待遷移文件中各個待遷移子文件對應的子標準摘要散列值，并將所述待遷移子文件對應的待遷移子文件大小以及所述子標準摘要散列值設為所述待遷移子文件對應的子標準元信息；

根據(jù)所述待遷移子文件的排列順序，將預設個數(shù)的所述待遷移子文件對應的子標準元信息進行順序拼接，生成標準的分批元信息；

計算所述標準的分批元信息對應的分批標準摘要散列值，并基于所述分批標準摘要散列值，計算所述待遷移文件對應的總標準摘要散列值。