[發明專利]數據處理方法及裝置、存儲介質、電子設備

在審

• 申請號: 202110839385.0
• 申請日: 2021-07-23
• 公開（公告）號: CN113568576A
• 公開（公告）日: 2021-10-29
• 發明（設計）人: 俞樂勤;張曉龍;王盼;陳諤;李雪莉
• 申請（專利權）人: 杭州朗和科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F16/23;G06F16/27
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 王輝;闞梓瑄

本公開的實施方式涉及數據存儲技術領域，更具體地，本公開的實施方式涉及數據處理方法及裝置，存儲介質和電子設備。所述方法包括：獲取待處理數據集合，確定所述待處理數據集合的整體數據長度，以根據整體數據長度配置對應的n個條帶；其中，n為正整數；提取所述待處理數據集合中各待處理文件的元數據，按預設規則編輯各所述元數據以生成所述n個條帶對應的頭部內容；基于所述元數據的編輯規則對各所述待處理文件的數據內容進行編輯以獲取對象數據；將所述頭部內容，以及所述對象數據寫入所述n個條帶。本公開的技術方案能夠有效的提高元數據的數據讀取效率，保證數據讀取的速度。

技術領域

本公開的實施方式涉及數據存儲技術領域，更具體地，本公開的實施方式涉及數據處理方法及裝置，存儲介質和電子設備。

背景技術

本部分旨在為權利要求中陳述的本公開的實施方式提供背景或上下文，此處的描述不因為包括在本部分中就承認是現有技術。

在Ceph分布式存儲系統中，為了兼顧存儲空間利用率和數據可靠性，引入了糾刪碼(erasure coding，EC)技術，其存儲空間利用率也在60％以上，比3副本的空間利用率提高了1倍以上(33.3％)。

發明內容

但是，在一些技術中，Ceph分布式存儲系統在面對小文件的寫入時，對象小文件的元數據信息存放成了一個棘手的問題，因為對象文件的元數據信息可以分析對象的空間利用率，元數據的存放不合理又會對文件的讀寫產生影響。目前的技術中，一般采用方案一：將對象文件的元數據信息放入ceph文件屬性集的方式；方案二：將對象文件的元數據信息放入數據庫中存儲。然而，上述的方案一在對象文件讀寫刪的時候，涉及到底層兩次I/O操作(寫數據一次，屬性寫入一次)，會影響所有對象文件的讀寫延時；而上述的方案二需要額外的部署一套數據庫，數據的一致性問題需要額外的保證，同時也存在鍵值太多會影響屬性的獲取進而影響對象文件的元數據信息提取的問題。

為此，非常需要一種改進的數據處理方法及裝置、存儲介質和電子設備，以提供一種能夠保證數據讀取性能，并提高Ceph系統存儲空間的利用率。

在本上下文中，本發明的實施方式期望提供一種數據處理方法和裝置、存儲介質和電子設備。

根據本公開的一個方面，提供一種數據處理方法，包括：獲取待處理數據集合，確定所述待處理數據集合的整體數據長度，以根據整體數據長度配置對應的n個條帶；其中，n為正整數；

提取所述待處理數據集合中各待處理文件的元數據，按預設規則編輯各所述元數據以生成所述n個條帶對應的頭部內容；以及

基于所述元數據的編輯規則對各所述待處理文件的數據內容進行編輯以獲取對象數據；

將所述頭部內容，以及所述對象數據寫入所述n個條帶。

在本公開的一種示例性實施例中，所述提取所述待處理數據集合中各待處理文件的元數據，按預設規則編輯各所述元數據以生成所述n個條帶對應的頭部內容，包括：

為所述n個條帶配置頭部；

根據各待處理文件的數據長度進行排序，并根據文件排序結果按順序編輯各所述待處理文件對應的元數據以生成所述頭部內容。

在本公開的一種示例性實施例中，所述為所述n個條帶配置頭部，包括：

在所述n個條帶中的第一條帶對應的第一磁盤空間配置所述頭部的存儲區域。

在本公開的一種示例性實施例中，所述方法還包括：

為所述頭部配置頭部文件標簽。

在本公開的一種示例性實施例中，所述頭部內容中，各所述元數據對應的數據長度相同。

在本公開的一種示例性實施例中，所述方法還包括：