[發明專利]一種分裂分區的方法及裝置

有效

• 申請號: 201810494401.5
• 申請日: 2018-05-22
• 公開（公告）號: CN110519319B
• 公開（公告）日: 2022-02-11
• 發明（設計）人: 王玉華;王鵬宇;董明;李林森
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: H04L67/1097
• 分類號: H04L67/1097
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 韓東艷

本申請是關于一種分裂分區的方法及裝置，屬于通信領域。所述方法包括：根據目標時間段開始前Hbase表中已存儲的數據記錄，預測在所述目標時間段內需要占用所述Hbase表中的分區的第一數目；當所述第一數目大于第二數目時，從所述第二數目個分區中獲取存儲率超過預設存儲率閾值的分區作為目標分區，所述第二數目個分區是預先分配的在所述目標時間段內需要占用所述Hbase表中的分區；當獲取的目標分區的數目小于或等于第三數目時，在所述目標分區對應的分裂時間分裂所述目標分區，所述分裂時間晚于獲取所述目標分區的獲取時間，所述第三數目等于所述第一數目減去所述第二數目。本申請能夠減小受影響的客戶端數目。

技術領域

本申請涉及通信領域，特別涉及一種分裂分區的方法及裝置。

背景技術

Hbase(Hadoop Database)是一種高可靠性、高性能、面向列、可伸縮的分布式存儲系統。默認創建一張Hbase表時Hbase表中只有一個Region，Region是Hbase表中的分區，用于存儲數據。

Region的容量是固定的，假設Region的容量為N，當需要存儲的數據越來越多時，導致Region的空間不足時，需要將該Region分裂成兩個容量為N的Region，以存儲更多的數據。目前Hbase具有自動分裂Region的功能，當Region存滿數據時，會自動地將該Region分裂成兩個新Region，該Region中的數據可以存儲到該兩個新Region中。

發明人在實現本申請的過程中，發現上述方式至少存在如下缺陷：

在將該Region分裂成兩個新Region的過程中客戶端無法訪問該Region。在提供業務較忙碌的忙碌時間段內，會向Region內存儲或訪問大量的數據，導致Region容易在忙碌時間段內存滿并發生分裂，而在忙碌時間段內會有大量的客戶端訪問Region，請求實時業務，這樣導致在忙碌時間段內無法向大量的客戶端提供實時業務，對大量的客戶端產生影響。

發明內容

為了減小受影的客戶端數目，本申請實施例提供了一種分裂分區的方法及裝置。所述技術方案如下：

第一方面，本申請提供一種分裂分區的方法，所述方法包括：

根據目標時間段開始前Hbase表中已存儲的數據記錄，預測在所述目標時間段內需要占用所述Hbase表中的分區的第一數目；

當所述第一數目大于第二數目時，從所述第二數目個分區中獲取存儲率超過預設存儲率閾值的分區作為目標分區，所述第二數目個分區是預先分配的在所述目標時間段內需要占用所述Hbase表中的分區；

當獲取的目標分區的數目小于或等于第三數目時，在所述目標分區對應的分裂時間分裂所述目標分區，所述分裂時間晚于獲取所述目標分區的獲取時間，所述第三數目等于所述第一數目減去所述第二數目。

可選的，所述根據目標時間段開始前Hbase表中已存儲的數據記錄，預測在所述目標時間段內需要占用所述Hbase表中的分區的第一數目，包括：

根據Hbase表已存儲的數據記錄總量和所述Hbase表中已使用的空間容量，計算所述Hbase表中的每條數據記錄的平均數據量；

通過預測模型預測在所述目標時間段內產生的待存儲數據記錄的數目；

根據所述待存儲數據記錄的數目、所述平均數據量和分區容量，計算在所述目標時間段內需要占用所述Hbase表中的分區的第一數目。

可選的，所述預測在所述目標時間段內需要占用所述Hbase表中的分區的第一數目之前，還包括：

根據所述目標時間段開始前所述Hbase表中存儲的數據記錄，生成所述預測模型。

可選的，所述根據所述目標時間段開始前所述Hbase表中存儲的數據記錄，生成所述預測模型，包括：