[發(fā)明專利]數(shù)據(jù)遷移的發(fā)送方法及裝置、存儲介質(zhì)、電子裝置

有效

• 申請?zhí)枺?/td>: 202011632479.2
• 申請日: 2020-12-31
• 公開（公告）號: CN112650710B
• 公開（公告）日: 2023-07-21
• 發(fā)明（設(shè)計）人: 姜冰
• 申請（專利權(quán)）人: 青島海爾科技有限公司;海爾智家股份有限公司
• 主分類號: G06F16/11
• 分類號: G06F16/11;G06F16/188
• 代理公司: 北京康信知識產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 王曉婷

1.一種數(shù)據(jù)遷移的發(fā)送方法，其特征在于，包括：

獲取在線存儲平臺發(fā)送的待遷移到大數(shù)據(jù)平臺的遷移數(shù)據(jù)，其中，所述遷移數(shù)據(jù)包括：非結(jié)構(gòu)化的遷移數(shù)據(jù)；

從虛擬文件系統(tǒng)中確定數(shù)據(jù)遷移方式，并根據(jù)所述數(shù)據(jù)遷移方式將所述遷移數(shù)據(jù)遷移到所述大數(shù)據(jù)平臺；

其中，根據(jù)所述數(shù)據(jù)遷移方式將所述遷移數(shù)據(jù)遷移到所述大數(shù)據(jù)平臺，包括：

在從所述虛擬文件系統(tǒng)中確定的所述數(shù)據(jù)遷移方式為文件映射方式的情況下，將所述遷移數(shù)據(jù)按照所述文件映射方式映射到所述大數(shù)據(jù)平臺；

在從所述虛擬文件系統(tǒng)中確定的所述數(shù)據(jù)遷移方式為管道流傳輸方式的情況下，將所述遷移數(shù)據(jù)按照所述管道流傳輸方式傳輸?shù)侥繕?biāo)存儲位置，并在所述目標(biāo)存儲位置上，將所述遷移數(shù)據(jù)遷移到所述大數(shù)據(jù)平臺；

其中，根據(jù)所述數(shù)據(jù)遷移方式將所述遷移數(shù)據(jù)遷移到所述大數(shù)據(jù)平臺之前，所述方法還包括：

獲取所述遷移數(shù)據(jù)的數(shù)據(jù)類型信息；

根據(jù)所述數(shù)據(jù)類型信息判斷是否存在目標(biāo)目錄，其中，所述目標(biāo)目錄用于所述大數(shù)據(jù)平臺存儲所述遷移數(shù)據(jù)；

在不存在所述目標(biāo)目錄的情況下，在所述大數(shù)據(jù)平臺中創(chuàng)建所述目標(biāo)目錄。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，從虛擬文件系統(tǒng)中確定數(shù)據(jù)遷移方式，包括：

獲取所述遷移數(shù)據(jù)的源地址的目標(biāo)格式，其中，不同的源地址用于指示不同的在線存儲平臺；

根據(jù)所述目標(biāo)格式確定所述遷移數(shù)據(jù)對應(yīng)的所述虛擬文件系統(tǒng)，以從所述虛擬文件系統(tǒng)中確定數(shù)據(jù)遷移方式。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，根據(jù)所述數(shù)據(jù)遷移方式將所述遷移數(shù)據(jù)遷移到所述大數(shù)據(jù)平臺，包括：

將所述遷移數(shù)據(jù)轉(zhuǎn)換為所述虛擬文件系統(tǒng)對應(yīng)的文件對象，其中，不同的文件對象對應(yīng)不同的虛擬文件系統(tǒng)；

根據(jù)所述數(shù)據(jù)遷移方式將所述文件對象遷移到所述大數(shù)據(jù)平臺。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

獲取所述遷移數(shù)據(jù)的源地址和目的地址，其中，所述目的地址用于指示所述遷移數(shù)據(jù)待遷移到所述大數(shù)據(jù)平臺的位置；

對所述源地址和所述目的地址進(jìn)行驗證，在驗證通過的情況下，從所述虛擬文件系統(tǒng)中確定數(shù)據(jù)遷移方式，并根據(jù)所述數(shù)據(jù)遷移方式將所述遷移數(shù)據(jù)遷移到所述大數(shù)據(jù)平臺。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，獲取在線存儲平臺發(fā)送的待遷移到大數(shù)據(jù)平臺的遷移數(shù)據(jù)，包括：

確定所述在線存儲平臺發(fā)送的目標(biāo)數(shù)據(jù)的數(shù)據(jù)類型；

在所述數(shù)據(jù)類型為文件的情況下，將所述目標(biāo)數(shù)據(jù)作為所述遷移數(shù)據(jù)；

在所述數(shù)據(jù)類型為目錄的情況下，從所述目標(biāo)數(shù)據(jù)所指示的目錄中獲取所述遷移數(shù)據(jù)。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述遷移數(shù)據(jù)還包括：結(jié)構(gòu)化數(shù)據(jù)的情況下，所述方法還包括：

從預(yù)先設(shè)置的源地址所指示的存儲位置獲取待遷移的結(jié)構(gòu)化數(shù)據(jù)；

將所述結(jié)構(gòu)化數(shù)據(jù)生成Map對象；

將所述Map對象遷移到所述大數(shù)據(jù)平臺，以實現(xiàn)將所述結(jié)構(gòu)化數(shù)據(jù)遷移到所述大數(shù)據(jù)平臺。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，將所述Map對象遷移到所述大數(shù)據(jù)平臺，包括：

為所述Map對象設(shè)置多個Map任務(wù)，其中，每一個Map任務(wù)用于將所述每一個Map任務(wù)對應(yīng)的Map對象遷移至所述大數(shù)據(jù)平臺；

按照目標(biāo)調(diào)度器的分配按照預(yù)設(shè)順序執(zhí)行所述多個Map任務(wù)，以將所述Map對象遷移到所述大數(shù)據(jù)平臺。