[發明專利]數據遷移方法及裝置、電子設備

在審

• 申請號: 202110758754.3
• 申請日: 2021-07-05
• 公開（公告）號: CN113448946A
• 公開（公告）日: 2021-09-28
• 發明（設計）人: 盧行;楊瑞峰;張旭明;王豪邁;胥昕
• 申請（專利權）人: 星辰天合（北京）數據科技有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/22;G06F16/245
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 周春枚

本發明公開了一種數據遷移方法及裝置、電子設備。其中，該數據遷移方法包括：遍歷當前存儲集群中在預設存儲桶內的多個存儲對象，得到每個存儲對象的對象類型，其中，對象類型包括：被歸并對象和未歸并對象，被歸并對象是指對象數據的數據量大小低于預設閾值的存儲對象；若存儲對象的對象類型指示存儲對象為未歸并對象，則將未歸并對象以及未歸并對象的元數據直接寫入目標存儲集群中；若存儲對象的對象類型指示存儲對象為被歸并對象，查詢被歸并對象所屬的歸并集合，讀取對象列表中與歸并集合對應的多個元數據，將歸并集合中所有被歸并對象以及多個元數據一起遷移至目標存儲集群中。

技術領域

本發明涉及數據處理技術領域，具體而言，涉及一種數據遷移方法及裝置、電子設備。

背景技術

相關技術中，隨著互聯網應用的高速發展，日益產生的海量非結構化數據的需要存儲。相關技術中，對象存儲是一種可選的存儲方式，能夠提供海量存儲的解決方案，支持百億或者千億產品規格。在網絡安防、道路監控等場景需要提供海量小文件的存儲解決方案，既要求海量小文件的讀寫性能，又希望降低存儲的使用成本，如客戶在視頻監控場景或者機場的圖像采集場景，攝像探頭要實時拍照生成大量的圖片，通常這些圖片大小在1M-4M之間，屬于小文件場景，海量的小文件浪費存儲空間。同時，當前在讀取海量的小文件時，讀寫性能差，需要較大的讀寫成本，大量增加固態硬盤等存儲器的數量，大大增加了海量小文件場景對于固態硬盤SSD緩存池的依賴。

針對上述的問題，目前尚未提出有效的解決方案。

發明內容

本發明實施例提供了一種數據遷移方法及裝置、電子設備，以至少解決相關技術中對于海量小文件，不僅浪費存儲空間，而且對固態硬盤SSD緩存池的依賴性較高的技術問題。

根據本發明實施例的一個方面，提供了一種數據遷移方法，包括：遍歷當前存儲集群中在預設存儲桶內的多個存儲對象，得到每個所述存儲對象的對象類型，其中，所述對象類型包括：被歸并對象和未歸并對象，所述被歸并對象是指對象數據的數據量大小低于預設閾值的存儲對象；若所述存儲對象的對象類型指示所述存儲對象為未歸并對象，則將所述未歸并對象以及所述未歸并對象的元數據直接寫入目標存儲集群中；若所述存儲對象的對象類型指示所述存儲對象為被歸并對象，查詢所述被歸并對象所屬的歸并集合，讀取對象列表中與所述歸并集合對應的多個元數據，將所述歸并集合中所有被歸并對象以及所述多個元數據一起遷移至目標存儲集群中。

可選地，將所述歸并集合中所有被歸并對象以及所述多個元數據一起遷移至目標存儲集群中的步驟，包括：為所述歸并集合設置對應的遷移接口；采用所述遷移接口將所述歸并集合中所有被歸并對象以及所述多個元數據一起遷移至目標存儲集群中。

可選地，將所述歸并集合中所有被歸并對象以及所述多個元數據一起遷移至目標存儲集群中的步驟，還包括：控制所述目標存儲集群重命名所述歸并集合；將所述歸并集合中所有被歸并對象的對象數據和每個所述被歸并對象的元數據進行重組處理，并將重組處理后的新歸并集合歸檔至所述目標存儲集群的指定存儲桶中。

可選地，在將重組處理后的新歸并集合歸檔至所述目標存儲集群的指定存儲桶中之后，所述方法還包括：記錄所述新歸并集合的對象數據的數據名稱以及所述元數據在所述新歸并集合中的起始位和偏移位；將指向所述新歸并集合的多個新元數據存儲至桶索引文件。

可選地，在將指向所述新歸并集合的多個新元數據存儲至桶索引文件之后，所述方法還包括：接收對象訪問請求，其中，所述對象訪問請求中至少包括：元數據索引標識；基于所述元數據索引標識，獲取指向新歸并集合中的指定存儲桶的目標元數據；基于所述目標元數據，查詢在所述新歸并集合中與所述目標元數據對應的目標對象數據。

可選地，在將重組處理后的新歸并集合歸檔至所述目標存儲集群的指定存儲桶中之后，所述方法還包括：若所述指定存儲桶不再寫入對象數據，在所述指定存儲桶的數據寫入入口設置禁止標識，其中，所述禁止標識用于禁止外部終端向所述指定存儲桶繼續寫入對象數據。