[發明專利]數據遷移的發送方法及裝置、存儲介質、電子裝置

有效

• 申請號: 202011632479.2
• 申請日: 2020-12-31
• 公開（公告）號: CN112650710B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 姜冰
• 申請（專利權）人: 青島海爾科技有限公司;海爾智家股份有限公司
• 主分類號: G06F16/11
• 分類號: G06F16/11;G06F16/188
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 王曉婷

本發明提供了一種數據遷移的發送方法及裝置、存儲介質、電子裝置，其中，上述方法包括：獲取在線存儲平臺發送的待遷移到大數據平臺的遷移數據，其中，所述遷移數據包括：非結構化的遷移數據；從虛擬文件系統中確定數據遷移方式，并根據所述數據遷移方式將所述遷移數據遷移到所述大數據平臺。采用上述技術方案，解決相關技術中在遷移數據時必須針對每一個文件設置對應的配置文件的問題。

技術領域

本發明涉及通信領域，具體而言，涉及一種數據遷移的發送方法及裝置、存儲介質、電子裝置。

背景技術

隨著信息技術的高速發展，整個社會步入數據化時代，數據成為了各企業最重要的資產。海量數據的涌入，對傳統存儲帶來了巨大的挑戰，企業也需要建立一套高可靠、高擴展的存儲系統?，F有的數據遷移工具較多，以Flume為例，Flume是一個分布式、可靠的日志聚合的系統，它可以在系統中定制各種類型的數據發送方，將數據收集到一個節點上，但是每個數據源只能有一個文件，需要針對每一個文件設置對應的配置文件。

針對相關技術中，在遷移數據時必須針對每一個文件設置對應的配置文件，進而導致數據遷移過程的流程復雜等問題，尚未提出有效的解決方案。

發明內容

本發明實施例提供了一種數據遷移的發送方法及裝置、存儲介質、電子裝置，以解決在遷移數據時必須針對每一個文件設置對應的配置文件，進而導致數據遷移過程的流程復雜等的問題。

根據本發明的一個實施例，提供了一種數據遷移的發送方法，包括：獲取在線存儲平臺發送的待遷移到大數據平臺的遷移數據，其中，所述遷移數據包括：非結構化的遷移數據；從虛擬文件系統中確定數據遷移方式，并根據所述數據遷移方式將所述遷移數據遷移到所述大數據平臺。

根據本發明的一個實施例，提供了一種數據遷移的發送方法，包括：獲取在線存儲平臺發送的待遷移到大數據平臺的遷移數據，其中，所述遷移數據包括：非結構化的遷移數據；從虛擬文件系統中確定數據遷移方式，并根據所述數據遷移方式將所述遷移數據遷移到所述大數據平臺。

可選的，根據所述數據遷移方式將所述遷移數據遷移到所述大數據平臺，包括：在從所述虛擬文件系統中確定的所述數據遷移方式為文件映射方式的情況下，將所述遷移數據按照所述文件映射方式映射到所述大數據平臺；在從所述虛擬文件系統中確定的所述數據遷移方式為管道流傳輸方式的情況下，將所述遷移數據按照所述管道流傳輸方式傳輸到目標存儲位置，并在所述目標存儲位置上，將所述遷移數據遷移到所述大數據平臺。

可選的，從虛擬文件系統中確定數據遷移方式，包括：獲取所述遷移數據的源地址的目標格式，其中，不同的源地址用于指示不同的在線存儲平臺；根據所述目標格式確定所述遷移數據對應的所述虛擬文件系統，以從所述虛擬文件系統中確定數據遷移方式。

可選的，根據所述數據遷移方式將所述遷移數據遷移到所述大數據平臺，包括：將所述遷移數據轉換為所述虛擬文件系統對應的文件對象，其中，不同的文件對象對應不同的虛擬文件系統；根據所述數據遷移方式將所述文件對象遷移到所述大數據平臺。

可選的，所述方法還包括：獲取所述遷移數據的源地址和目的地址，其中，所述目的地址用于指示所述遷移數據待遷移到所述大數據平臺的位置；對所述源地址和所述目的地址進行驗證，在驗證通過的情況下，從所述虛擬文件系統中確定數據遷移方式，并根據所述數據遷移方式將所述遷移數據遷移到所述大數據平臺。

可選的，獲取在線存儲平臺發送的待遷移到大數據平臺的遷移數據，包括：確定所述在線存儲平臺發送的目標數據的數據類型；在所述數據類型為文件的情況下，將所述目標數據作為所述遷移數據；在所述目標類型為目錄的情況下，從所述目標數據所指示的目錄中獲取所述遷移數據。

可選的，在所述遷移數據還包括：結構化數據的情況下，所述方法還包括：從預先設置的源地址所指示的存儲位置獲取待遷移的結構化數據；將所述結構化數據生成Map對象；將所述Map對象遷移到所述大數據平臺，以實現將所述結構化數據遷移到所述大數據平臺。