[發(fā)明專利]一種數(shù)據(jù)遷移方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202211322258.4
• 申請(qǐng)日: 2022-10-26
• 公開(kāi)（公告）號(hào): CN115543211A
• 公開(kāi)（公告）日: 2022-12-30
• 發(fā)明（設(shè)計(jì)）人: 馮龍;王博然;林存藝;成效輝
• 申請(qǐng)（專利權(quán)）人: 北京易華錄信息技術(shù)股份有限公司
• 主分類(lèi)號(hào): G06F3/06
• 分類(lèi)號(hào): G06F3/06
• 代理公司: 北京三聚陽(yáng)光知識(shí)產(chǎn)權(quán)代理有限公司 11250
• 代理人: 王娜

1.一種數(shù)據(jù)遷移方法，其特征在于，應(yīng)用于數(shù)據(jù)遷移系統(tǒng)，所述數(shù)據(jù)遷移系統(tǒng)與數(shù)據(jù)存儲(chǔ)系統(tǒng)通信連接；所述方法包括：

響應(yīng)于接收到多個(gè)小文件，將所述多個(gè)小文件聚合成至少一個(gè)目標(biāo)量級(jí)的大文件，每一個(gè)目標(biāo)量級(jí)的大文件由所述多個(gè)小文件中至少部分小文件聚合得到；

在每一個(gè)所述大文件的文件頭中存儲(chǔ)每一個(gè)小文件在所述大文件中的存儲(chǔ)位置信息；

響應(yīng)于獲取到數(shù)據(jù)存儲(chǔ)系統(tǒng)的地址信息，利用多個(gè)數(shù)據(jù)讀取線程并行讀取大文件；

基于每一個(gè)小文件在所述大文件中的存儲(chǔ)位置信息，將讀取到的大文件解析成小文件后寫(xiě)入到所述數(shù)據(jù)存儲(chǔ)系統(tǒng)中。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)遷移方法，其特征在于，所述將讀取到大文件解析成小文件后寫(xiě)入到所述數(shù)據(jù)存儲(chǔ)系統(tǒng)中，包括：

利用多個(gè)數(shù)據(jù)導(dǎo)出線程將解析得到的小文件寫(xiě)入到所述數(shù)據(jù)存儲(chǔ)系統(tǒng)中。

3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)遷移方法，其特征在于，所述目標(biāo)量級(jí)的大文件的存儲(chǔ)形式為存儲(chǔ)列表；所述方法還包括：

在所述大文件的文件頭中存儲(chǔ)每一個(gè)小文件在存儲(chǔ)列表中的偏移量和offset；

基于每一個(gè)小文件在存儲(chǔ)列表中的偏移量和offset，將讀取到的大文件解析成小文件后寫(xiě)入到所述數(shù)據(jù)存儲(chǔ)系統(tǒng)中。

4.根據(jù)權(quán)利要求1所述的數(shù)據(jù)遷移方法，其特征在于，響應(yīng)于獲取到數(shù)據(jù)存儲(chǔ)系統(tǒng)的地址信息，利用多個(gè)數(shù)據(jù)讀取線程并行讀取大文件之前，所述方法還包括：

向所述數(shù)據(jù)存儲(chǔ)系統(tǒng)發(fā)送地址信息獲取請(qǐng)求；

對(duì)所述數(shù)據(jù)存儲(chǔ)系統(tǒng)反饋的應(yīng)答信息進(jìn)行解析后得到所述數(shù)據(jù)存儲(chǔ)系統(tǒng)的地址信息。

5.一種數(shù)據(jù)遷移裝置，其特征在于，應(yīng)用于數(shù)據(jù)遷移系統(tǒng)，所述數(shù)據(jù)遷移系統(tǒng)與數(shù)據(jù)存儲(chǔ)系統(tǒng)通信連接；所述裝置包括：

數(shù)據(jù)聚合模塊，用于響應(yīng)于接收到多個(gè)小文件，將所述多個(gè)小文件聚合成至少一個(gè)目標(biāo)量級(jí)的大文件，每一個(gè)目標(biāo)量級(jí)的大文件由所述多個(gè)小文件中至少部分小文件聚合得到；

位置信息存儲(chǔ)模塊，用于在每一個(gè)所述大文件的文件頭中存儲(chǔ)每一個(gè)小文件在所述大文件中的存儲(chǔ)位置信息；

文件讀取模塊，用于響應(yīng)于獲取到數(shù)據(jù)存儲(chǔ)系統(tǒng)的地址信息，利用多個(gè)數(shù)據(jù)讀取線程并行讀取大文件；

數(shù)據(jù)解析模塊，用于基于每一個(gè)小文件在所述大文件中的存儲(chǔ)位置信息，將讀取到的大文件解析成小文件后寫(xiě)入到所述數(shù)據(jù)存儲(chǔ)系統(tǒng)中。

6.根據(jù)權(quán)利要求5所述的數(shù)據(jù)遷移裝置，其特征在于，數(shù)據(jù)解析模塊，包括：

數(shù)據(jù)寫(xiě)入子模塊，用于利用多個(gè)數(shù)據(jù)導(dǎo)出線程將解析得到的小文件寫(xiě)入到所述數(shù)據(jù)存儲(chǔ)系統(tǒng)中。

7.根據(jù)權(quán)利要求5所述的數(shù)據(jù)遷移裝置，其特征在于，所述目標(biāo)量級(jí)的大文件的存儲(chǔ)形式為存儲(chǔ)列表；所述裝置還包括：

存儲(chǔ)信息模塊，用于在所述大文件的文件頭中存儲(chǔ)每一個(gè)小文件在存儲(chǔ)列表中的偏移量和offset；

數(shù)據(jù)導(dǎo)出模塊，用于基于每一個(gè)小文件在存儲(chǔ)列表中的偏移量和offset，將讀取到的大文件解析成小文件后寫(xiě)入到所述數(shù)據(jù)存儲(chǔ)系統(tǒng)中。

8.根據(jù)權(quán)利要求5所述的數(shù)據(jù)遷移裝置，其特征在于，所述裝置還包括：

請(qǐng)求發(fā)送模塊，用于向所述數(shù)據(jù)存儲(chǔ)系統(tǒng)發(fā)送地址信息獲取請(qǐng)求；

應(yīng)答接收模塊，用于對(duì)所述數(shù)據(jù)存儲(chǔ)系統(tǒng)反饋的應(yīng)答信息進(jìn)行解析后得到所述數(shù)據(jù)存儲(chǔ)系統(tǒng)的地址信息。

9.一種電子設(shè)備，其特征在于，包括：至少一個(gè)處理器；以及與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器執(zhí)行如權(quán)利要求1-4任一所述的數(shù)據(jù)遷移方法的步驟。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-4中任一項(xiàng)所述的數(shù)據(jù)遷移方法的步驟。