[發明專利]數據分片的方法及裝置

有效

• 申請號: 202010076351.6
• 申請日: 2020-01-23
• 公開（公告）號: CN111324606B
• 公開（公告）日: 2023-06-09
• 發明（設計）人: 楊志鵬;王洪興;宋紅磊;李鑫;賈立鑫
• 申請（專利權）人: 北京恒華偉業科技股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 李慧引

本申請提供了一種數據分片的方法及裝置，所述方法包括：接收到應用程序寫入的待存儲數據時，從多個數據分片策略中篩選出所述應用程序對應的目標數據分片策略；其中，每個所述數據分片策略均通過由web界面輸入的配置信息得到；依據所述目標數據分片策略對所述待存儲數據進行數據分片，得到多個分片數據；將所述多個分片數據分別存儲到多個數據庫中。運用本申請實施例提供數據分片的方法，可通過在本申請提供的web操作界面中，配置并自動生成相應的數據分片策略，以對待存儲數據自動進行數據分片儲存。

技術領域

本發明涉及數據庫技術領域，尤其涉及到一種數據分片的方法及裝置。

背景技術

隨著科學技術的發展，物聯網設備產生的數據周期性成幾何倍數增長，日益增長的物聯網數據對數據庫儲存造成了極大的負載。為有效減小數據庫的負載壓力，目前常采用數據分片的方式，將數據分片并分別存儲在不同的數據庫中。

但由于現有技術中實現數據分片的前提需要配置相應的配置文件，編寫配置文件上比較復雜、運維成本較高；且當分片規則發生改動需要修改配置文件時，需要在修改后重新啟動相應的系統，導致容易引起數據庫分片業務異常中斷。

發明內容

有鑒于此，本申請提供了一種數據分片的方法及裝置，可通過在本申請提供的web操作界面中，配置并自動生成相應的數據分片策略，以對待存儲數據自動進行數據分片儲存。

為實現上述目的，本申請實施例提供如下技術方案：

本申請第一方面提供了一種數據分片的方法，包括：

接收到應用程序寫入的待存儲數據時，從多個數據分片策略中篩選出所述應用程序對應的目標數據分片策略；其中，每個所述數據分片策略均通過由web界面輸入的配置信息得到；

依據所述目標數據分片策略對所述待存儲數據進行數據分片，得到多個分片數據；

將所述多個分片數據分別存儲到多個數據庫中。

可選的，所述接收到應用程序的待存儲數據時，從多個數據分片策略中篩選出所述應用程序對應的目標數據分片策略，包括：

接收到應用程序的待存儲數據時，獲取所述應用程序的標識；

遍歷預先建立的標識對應表，從所述標識對應表中匹配出所述應用程序的標識對應的數據分片策略；其中，所述標識對應表包括：每一個所述數據分片策略以及對應的應用程序的標識。

可選的，所述數據分片策略的生成方法，包括：

獲取所述web界面輸入的配置信息；所述配置信息包括分片數據的數據量、分片維度、建表語句和多個數據庫；

其中，所述分片數據的數據量用于指示將所述待存儲數據拆分成多個分片數據；所述分片維度用于指示對所述待存儲數據的分片方式；所述建表語句用于生成分片表，所述分片表用于寫入所述分片數據；所述多個數據庫用于存儲所述分片表；

依據所述配置信息，生成數據分片策略。

可選的，所述將所述多個分片數據分別存儲到多個數據庫中，包括：

將所述多個分片數據分別寫入預先生成的一個分片表中，得到多個目標分片表；

向所述多個數據庫中的一個數據庫，依次存儲所述多個目標分片表；

若多個所述目標分片表還剩余有未存儲到數據庫的目標分片表，則向所述多個數據庫中除存儲有所述目標分片表的數據庫之外的一個數據庫，存儲所述多個目標分片表中被剩余的目標分片表，直至所有的目標分片表均存儲在數據庫中。

可選的，所述將所述多個分片子表分別存儲到多個數據庫之后，還包括：