[發明專利]一種數據處理方法及裝置

有效

• 申請號: 201810105947.7
• 申請日: 2018-02-02
• 公開（公告）號: CN108399050B
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 張世龍;陳釗;王成林
• 申請（專利權）人: 新華三技術有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F12/06
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 林祥

本發明提供一種數據處理方法及裝置，所述方法包括：當檢測到針對數據塊的寫入操作時，將所述數據塊映射至待映射的對象object；當所述object中的數據量達到預設容量時，對所述object進行存儲處理。應用本發明實施例可以將小數據塊I/O進行合并處理，轉化為大數據塊I/O落盤，減少資源消耗。

技術領域

本發明涉及通信技術領域，尤其涉及一種數據處理方法及裝置。

背景技術

Ceph(分布式存儲系統)是一種性能優異、高可靠性和高擴展性分布式存儲系統，廣泛應用于各類大中小型存儲環境。

Ceph的數據處理流程如下：

1、用戶需要存儲或訪問的data(數據)通過librbd(Library RADOS(Reliable，Autonomous，Distributed Object Store，可靠、自治、分布式對象存儲)Block Device，RADOS塊存儲接口庫)映射為Ceph能夠處理的object(對象)；

2、在data被映射為一個或多個object之后，就需要將每個object獨立地映射到一個PG(Placement Group，歸置組)中；

3、將作為object的邏輯組織單元的PG映射到數據的實際存儲單元OSD。

其中，Ceph利用CRUSH的算法，根據PG ID(標識)得到一組OSD，并將該PG中各object均分別保存到該組OSD中。由于該組OSD中的各OSD可能位于不同的主機節點，因此，需要通過網絡將數據傳輸至相應的OSD上。

然而實踐發現，當需要處理的data為地址隨機，并且大小為4k的數據塊時，每發起一次寫操作請求都會對應一次I/O(Input/output，輸入/輸出)處理流程，此過程中會涉及到地址計算、網絡傳輸、數據落盤等。當存在大量此類data需要進行處理，并且每個data對應不同的object，則會觸發大量的I/O處理流程，進而消耗大量的CPU(Center ProcessUnit，中央處理單元)資源。

發明內容

本發明提供一種數據處理方法及裝置，以解決現有Ceph系統大量地址隨機的小數據塊會消耗大量的CPU資源的問題。

根據本發明的第一方面，提供一種數據處理方法，應用于分布式對象存儲系統的存儲節點，該方法包括：

當檢測到針對數據塊的寫入操作時，將所述數據塊映射至待映射的對象object；其中，所述待映射的object為所分配的用于進行數據塊映射，且未進行存儲處理的object；所述object的大小大于所述數據塊的大小，且為所述數據塊大小的整數倍；

當所述object中的數據量達到預設容量時，對所述object進行存儲處理。

根據本發明的第二方面，提供一種數據處理裝置，應用于分布式對象存儲系統的存儲節點，該裝置包括：

檢測單元，用于檢測針對數據塊的讀寫操作；

映射單元，用于當所述檢測單元檢測到針對數據塊的寫入操作時，將所述數據塊映射至待映射的對象object；其中，所述待映射的object為所分配的用于進行數據塊映射，且未進行存儲處理的object；所述object的大小大于所述數據塊的大小，且為所述數據塊大小的整數倍；

處理單元，用于當所述object中的數據量達到預設容量時，對所述object進行存儲處理，并將所分配的下一個object確定為待映射的object。

應用本發明公開的技術方案，當檢測到針對數據塊的寫入操作時，將該數據塊映射至待映射的object；當該object中的數據量達到預設容量時，對該object進行存儲處理，將小數據塊進行合并處理，轉化為大數據塊落盤，減少了資源消耗。

附圖說明