[發(fā)明專利]數(shù)據(jù)分片的方法及裝置

有效

• 申請?zhí)枺?/td>: 202010076351.6
• 申請日: 2020-01-23
• 公開（公告）號: CN111324606B
• 公開（公告）日: 2023-06-09
• 發(fā)明（設計）人: 楊志鵬;王洪興;宋紅磊;李鑫;賈立鑫
• 申請（專利權）人: 北京恒華偉業(yè)科技股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22
• 代理公司: 北京集佳知識產(chǎn)權代理有限公司 11227
• 代理人: 李慧引

1.一種數(shù)據(jù)分片的方法，其特征在于，包括：

接收到應用程序寫入的待存儲數(shù)據(jù)時，從多個數(shù)據(jù)分片策略中篩選出所述應用程序對應的目標數(shù)據(jù)分片策略；其中，每個所述數(shù)據(jù)分片策略均通過由web界面輸入的配置信息得到；

依據(jù)所述目標數(shù)據(jù)分片策略對所述待存儲數(shù)據(jù)進行數(shù)據(jù)分片，得到多個分片數(shù)據(jù)；

將所述多個分片數(shù)據(jù)分別存儲到多個數(shù)據(jù)庫中；

所述接收到應用程序的待存儲數(shù)據(jù)時，從多個數(shù)據(jù)分片策略中篩選出所述應用程序對應的目標數(shù)據(jù)分片策略，包括：

接收到應用程序的待存儲數(shù)據(jù)時，獲取所述應用程序的標識；

遍歷預先建立的標識對應表，從所述標識對應表中匹配出所述應用程序的標識對應的數(shù)據(jù)分片策略；其中，所述標識對應表包括：每一個所述數(shù)據(jù)分片策略以及對應的應用程序的標識；

所述數(shù)據(jù)分片策略的生成方法，包括：

獲取所述web界面輸入的配置信息；所述配置信息包括分片數(shù)據(jù)的數(shù)據(jù)量、分片維度、建表語句和多個數(shù)據(jù)庫；

其中，所述分片數(shù)據(jù)的數(shù)據(jù)量用于指示將所述待存儲數(shù)據(jù)拆分成多個分片數(shù)據(jù)；所述分片維度用于指示對所述待存儲數(shù)據(jù)的分片方式；所述建表語句用于生成分片表，所述分片表用于寫入所述分片數(shù)據(jù)；所述多個數(shù)據(jù)庫用于存儲所述分片表；

依據(jù)所述配置信息，生成數(shù)據(jù)分片策略。

2.根據(jù)權利要求1所述的方法，其特征在于，所述將所述多個分片數(shù)據(jù)分別存儲到多個數(shù)據(jù)庫中，包括：

將所述多個分片數(shù)據(jù)分別寫入預先生成的一個分片表中，得到多個目標分片表；

向所述多個數(shù)據(jù)庫中的一個數(shù)據(jù)庫，依次存儲所述多個目標分片表；

若多個所述目標分片表還剩余有未存儲到數(shù)據(jù)庫的目標分片表，則向所述多個數(shù)據(jù)庫中除存儲有所述目標分片表的數(shù)據(jù)庫之外的一個數(shù)據(jù)庫，存儲所述多個目標分片表中被剩余的目標分片表，直至所有的目標分片表均存儲在數(shù)據(jù)庫中。

3.根據(jù)權利要求1所述的方法，其特征在于，所述將所述多個分片數(shù)據(jù)分別存儲到多個數(shù)據(jù)庫之后，還包括：

接收數(shù)據(jù)的讀取請求；其中，所述數(shù)據(jù)的讀取請求中攜帶有目標數(shù)據(jù)的特征字段；

基于所述特征字段，依據(jù)預先配置的路由規(guī)則讀取所述目標數(shù)據(jù)所在路由地址；其中，所述路由地址包括所述目標數(shù)據(jù)所在的表和庫；

基于所述路由地址，讀取并反饋所述目標數(shù)據(jù)。

4.根據(jù)權利要求1所述的方法，其特征在于，還包括：

獲取應用程序接口接收的數(shù)據(jù)操作指令；其中，所述數(shù)據(jù)操作指令包括對所述數(shù)據(jù)庫中存儲的數(shù)據(jù)的增加指令、刪除指令、修改指令和查看指令；

對數(shù)據(jù)庫中存儲的數(shù)據(jù)，執(zhí)行所述數(shù)據(jù)操作指令對應的操作。

5.一種數(shù)據(jù)分片的裝置，其特征在于，包括：

篩選單元，用于接收到應用程序寫入的待存儲數(shù)據(jù)時，從多個數(shù)據(jù)分片策略中篩選出所述應用程序對應的目標數(shù)據(jù)分片策略；其中，每個所述數(shù)據(jù)分片策略均通過由web界面輸入的配置信息得到；

分片單元，用于依據(jù)所述目標數(shù)據(jù)分片策略對所述待存儲數(shù)據(jù)進行數(shù)據(jù)分片，得到多個分片數(shù)據(jù)；

存儲單元，用于將所述多個分片數(shù)據(jù)分別存儲到多個數(shù)據(jù)庫中；

所述篩選單元，包括：

第一獲取單元，用于接收到應用程序的待存儲數(shù)據(jù)時，獲取所述應用程序的標識；

遍歷單元，用于遍歷預先建立的標識對應表，從所述標識對應表中匹配出所述應用程序的標識對應的數(shù)據(jù)分片策略；其中，所述標識對應表包括：每一個所述數(shù)據(jù)分片策略以及對應的應用程序的標識；

所述裝置還包括：

第二獲取單元，用于獲取所述web界面輸入的配置信息；所述配置信息包括分片數(shù)據(jù)的數(shù)據(jù)量、分片維度、建表語句和多個數(shù)據(jù)庫；

其中，所述分片數(shù)據(jù)的數(shù)據(jù)量用于指示將所述待存儲數(shù)據(jù)拆分成多個分片數(shù)據(jù)；所述分片維度用于指示對所述待存儲數(shù)據(jù)的分片方式；所述建表語句用于生成分片表，所述分片表用于寫入所述分片數(shù)據(jù)；所述多個數(shù)據(jù)庫用于存儲所述分片表；

生成單元，用于依據(jù)所述配置信息，生成數(shù)據(jù)分片策略。

6.根據(jù)權利要求5所述的裝置，其特征在于，所述存儲單元，包括：

寫入單元，用于將所述多個分片數(shù)據(jù)分別寫入預先生成的一個分片表中，得到多個目標分片表；

第一存儲子單元，用于向所述多個數(shù)據(jù)庫中的一個數(shù)據(jù)庫，依次存儲所述多個目標分片表；

第二存儲子單元，用于若多個所述目標分片表還剩余有未存儲到數(shù)據(jù)庫的目標分片表，則向所述多個數(shù)據(jù)庫中除存儲有所述目標分片表的數(shù)據(jù)庫之外的一個數(shù)據(jù)庫，存儲所述多個目標分片表中被剩余的目標分片表，直至所有的目標分片表均存儲在數(shù)據(jù)庫中。