[發明專利]數據單元管理方法、裝置、電子設備和存儲介質

在審

• 申請號: 202210154580.4
• 申請日: 2022-02-18
• 公開（公告）號: CN114528351A
• 公開（公告）日: 2022-05-24
• 發明（設計）人: 歐陽鋒
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/21
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 吳夢圓

本公開提供了一種數據單元管理方法，可以應用于大數據技術領域、金融領域或其他領域。該方法包括：響應于第一數據單元的數據量滿足預設分裂閾值條件，獲取與第一數據單元對應的第一當前分裂點數組；根據預設分裂閾值條件所表示的數據量閾值和預設分裂數量生成初始分裂點數組，其中，初始分裂點數組包括多個初始分裂點的值；使用第一當前分裂點數組中的第一當前分裂點的值分別調整初始分裂點數組的每個初始分裂點的值，以得到第一目標分裂點數組；以及基于第一目標分裂點數組將第一數據單元分裂為多個第二數據單元。此外，本公開還提供了一種數據單元管理裝置、電子設備和存儲介質。

技術領域

本公開涉及大數據技術領域和金融領域，更具體地，涉及一種數據單元管理方法、裝置、電子設備、存儲介質和計算機程序產品。

背景技術

數據單元的分裂和合并是HBase(Hadoopdatabase，一種非關系型分布式數據庫)的核心功能之一，是實現分布式可擴展性的基礎。通過對數據單元進行分裂和合并，可以維持數據讀取效率和數據單元管理難度的平衡。

在實現本公開構思的過程中，發明人發現相關技術中至少存在如下問題：在合并和分裂過程中，數據單元的分裂點與預期分裂點不符。

發明內容

有鑒于此，本公開提供了一種數據單元管理方法、一種數據單元管理裝置、一種電子設備、一種可讀存儲介質和一種計算機程序產品。

本公開的一個方面提供了一種數據單元管理方法，包括：響應于第一數據單元的數據量滿足預設分裂閾值條件，獲取與上述第一數據單元對應的第一當前分裂點數組；根據上述預設分裂閾值條件所表示的數據量閾值和預設分裂數量生成初始分裂點數組，其中，上述初始分裂點數組包括多個初始分裂點的值；使用上述第一當前分裂點數組中的第一當前分裂點的值分別調整上述初始分裂點數組的每個初始分裂點的值，以得到第一目標分裂點數組；以及基于上述第一目標分裂點數組將上述第一數據單元分裂為多個第二數據單元。

根據本公開的實施例，上述使用上述第一當前分裂點數組中的第一當前分裂點的值分別調整上述初始分裂點數組的每個初始分裂點的值，以得到第一目標分裂點數組，包括：對于每個上述初始分裂點，基于上述初始分裂點的值和第一預設區間值，生成與上述初始分裂點對應的第一取值區間；在上述第一當前分裂點中存在至少一個第一目標當前分裂點的值位于上述第一取值區間內的情況下，基于至少一個上述第一目標當前分裂點的值來確定與上述初始分裂點對應的第一目標分裂點；在上述第一當前分裂點的值均位于上述第一取值區間外的情況下，基于上述初始分裂點的值來確定與上述初始分裂點對應的第一目標分裂點；以及根據多個上述第一目標分裂點的值，得到上述第一目標分裂點數組。

根據本公開的實施例，上述方法還包括：對于每個上述初始分裂點，在上述第一當前分裂點的值均位于上述第一取值區間外的情況下，將上述初始分裂點的值加入到上述第一當前分裂點數組中，以得到第二當前分裂點數組。

根據本公開的實施例，上述方法還包括：響應于合并指令，使用上述第二當前分裂點數組中的第二當前分裂點的值分別調整上述初始分裂點數組的每個初始分裂點的值，以得到第二目標分裂點數組；以及基于上述第二目標分裂點數組將多個上述第二數據單元合并為第三數據單元。

根據本公開的實施例，上述使用上述第二當前分裂點數組中的第二當前分裂點的值分別調整上述初始分裂點數組的每個初始分裂點的值，以得到第二目標分裂點數組，包括：對于每個上述初始分裂點，基于上述初始分裂點的值和第二預設區間值，生成與上述初始分裂點對應的第二取值區間；在上述第二當前分裂點中存在至少一個第二目標當前分裂點的值位于上述第二取值區間內的情況下，基于至少一個上述第二目標當前分裂點的值來確定與上述初始分裂點對應的第二目標分裂點；在上述第二當前分裂點的值均位于上述第二取值區間外的情況下，調整上述第二預設區間值，并基于調整后的第二預設區間值生成調整后的第二取值區間，直至在上述第二當前分裂點中存在至少一個第二目標當前分裂點的值位于上述調整后的第二取值區間內；以及根據多個上述第二目標分裂點的值，得到上述第二目標分裂點數組。