[發(fā)明專利]數(shù)據(jù)拆分方法、裝置、設(shè)備、介質(zhì)及程序產(chǎn)品

在審

• 申請?zhí)枺?/td>: 202110236743.9
• 申請日: 2021-03-03
• 公開（公告）號: CN113760902A
• 公開（公告）日: 2021-12-07
• 發(fā)明（設(shè)計）人: 王思佳;許海華;王云博;魯大帥;傅朋;張師聰
• 申請（專利權(quán)）人: 北京沃東天駿信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/23;G06F16/2458;G06F16/28;G06F8/36
• 代理公司: 北京同立鈞成知識產(chǎn)權(quán)代理有限公司 11205
• 代理人: 虞浩;臧建明

本申請?zhí)峁┝艘环N數(shù)據(jù)拆分方法、裝置、設(shè)備、介質(zhì)及程序產(chǎn)品，通過在待拆分?jǐn)?shù)據(jù)庫集群中，根據(jù)預(yù)設(shè)要求確定至少一個數(shù)據(jù)源節(jié)點；然后將待拆分?jǐn)?shù)據(jù)庫集群中的待拆分?jǐn)?shù)據(jù)發(fā)送給數(shù)據(jù)源節(jié)點；并根據(jù)預(yù)設(shè)拆分方式對數(shù)據(jù)源節(jié)點中的待拆分?jǐn)?shù)據(jù)進(jìn)行拆分，以確定拆分?jǐn)?shù)據(jù)；最后通過數(shù)據(jù)源節(jié)點將拆分?jǐn)?shù)據(jù)發(fā)送到至少一個目標(biāo)數(shù)據(jù)庫集群的至少一個目標(biāo)節(jié)點中。解決了現(xiàn)有技術(shù)中數(shù)據(jù)拆分涉及多方面改動，拆分代碼復(fù)用性低，并且更改分表邏輯還需要同時在業(yè)務(wù)方修改查詢代碼的技術(shù)問題。達(dá)到了無分表邏輯變動的高效數(shù)據(jù)拆分，拆分代碼復(fù)用性高，無需業(yè)務(wù)端改變查詢代碼的技術(shù)效果。

技術(shù)領(lǐng)域

本申請涉及計算機數(shù)據(jù)庫領(lǐng)域，尤其涉及一種數(shù)據(jù)拆分方法、裝置、設(shè)備、介質(zhì)及程序產(chǎn)品。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，各項互聯(lián)網(wǎng)業(yè)務(wù)也在迅速增加，但是大多數(shù)業(yè)務(wù)上線時無法預(yù)知業(yè)務(wù)后期的數(shù)據(jù)規(guī)模，因此大部分業(yè)務(wù)在開發(fā)時都是使用了單個數(shù)據(jù)庫實例集群承載業(yè)務(wù)，然而隨著業(yè)務(wù)發(fā)展，業(yè)務(wù)增長量迅速，有些數(shù)據(jù)表中的數(shù)據(jù)量過大，導(dǎo)致系統(tǒng)的查詢和更新性能整體下降，進(jìn)而影響系統(tǒng)的整體業(yè)務(wù)吞吐量。

現(xiàn)有技術(shù)在處理此問題時，一般是通過將一個表頭結(jié)構(gòu)復(fù)雜的數(shù)據(jù)表拆分成表頭結(jié)構(gòu)簡單的多個數(shù)據(jù)表，或者是用基于數(shù)據(jù)庫的復(fù)制技術(shù)，將大數(shù)據(jù)量的數(shù)據(jù)表單獨拆分到新的數(shù)據(jù)庫中來提高整個系統(tǒng)的整體運行效率。

但是上述拆分方法無論是拆表還是拆數(shù)據(jù)庫，其拆分過程的通用性都比較差，并且拆分過程復(fù)雜，在業(yè)務(wù)連續(xù)增長時，再次拆分又會面臨同樣的問題，并且還需要同時修改業(yè)務(wù)方訪問數(shù)據(jù)庫時的SQL(Structured Query Language，結(jié)構(gòu)化查詢語言)代碼，即現(xiàn)有技術(shù)存在數(shù)據(jù)拆分涉及多方面改動，拆分代碼復(fù)用性低，還需要同時在業(yè)務(wù)方修改數(shù)據(jù)庫訪問代碼的技術(shù)問題。

發(fā)明內(nèi)容

本申請?zhí)峁┮环N數(shù)據(jù)拆分方法、裝置、設(shè)備、介質(zhì)及程序產(chǎn)品，以解決現(xiàn)有技術(shù)中數(shù)據(jù)拆分涉及多方面改動，拆分代碼復(fù)用性低，還需要同時在業(yè)務(wù)方修改數(shù)據(jù)庫訪問代碼的技術(shù)問題。

第一個方面，本申請?zhí)峁┮环N數(shù)據(jù)拆分方法，包括：

在待拆分?jǐn)?shù)據(jù)庫集群中，根據(jù)預(yù)設(shè)要求確定至少一個數(shù)據(jù)源節(jié)點，所述數(shù)據(jù)源節(jié)點為所述待拆分?jǐn)?shù)據(jù)庫集群與目標(biāo)數(shù)據(jù)庫集群之間數(shù)據(jù)復(fù)制轉(zhuǎn)移的中間媒介；

將所述待拆分?jǐn)?shù)據(jù)庫集群中的待拆分?jǐn)?shù)據(jù)發(fā)送給所述數(shù)據(jù)源節(jié)點；

根據(jù)預(yù)設(shè)拆分方式對所述數(shù)據(jù)源節(jié)點中的所述待拆分?jǐn)?shù)據(jù)進(jìn)行拆分，以確定拆分?jǐn)?shù)據(jù)，所述預(yù)設(shè)拆分方式保留了原有數(shù)據(jù)表的邏輯結(jié)構(gòu)，即所述預(yù)設(shè)拆分方式用于在不改變原有數(shù)據(jù)表的表頭結(jié)構(gòu)的情況下進(jìn)行數(shù)據(jù)拆分；

通過所述數(shù)據(jù)源節(jié)點將所述拆分?jǐn)?shù)據(jù)發(fā)送到目標(biāo)數(shù)據(jù)庫集群的目標(biāo)節(jié)點中。

在一種可能的設(shè)計中，所述待拆分?jǐn)?shù)據(jù)庫集群包括至少一個主從關(guān)系節(jié)點，所述主從關(guān)系節(jié)點包括：主節(jié)點以及依附于所述主節(jié)點的至少一個從節(jié)點，所述數(shù)據(jù)源節(jié)點包括所述主從關(guān)系節(jié)點中的至少一個所述從節(jié)點。

在一種可能的設(shè)計中，所述根據(jù)預(yù)設(shè)拆分方式對所述數(shù)據(jù)源節(jié)點中的所述待拆分?jǐn)?shù)據(jù)進(jìn)行拆分，以確定拆分?jǐn)?shù)據(jù)，包括：

根據(jù)所述待拆分?jǐn)?shù)據(jù)中預(yù)設(shè)關(guān)鍵字段對應(yīng)的預(yù)設(shè)拆分參數(shù)，確定所述拆分?jǐn)?shù)據(jù)。

可選的，所述預(yù)設(shè)拆分參數(shù)包括：拆分區(qū)間范圍以及在所述拆分區(qū)間范圍內(nèi)的至少一個拆分值，所述根據(jù)所述待拆分?jǐn)?shù)據(jù)中預(yù)設(shè)關(guān)鍵字段對應(yīng)的預(yù)設(shè)拆分參數(shù)，確定所述拆分?jǐn)?shù)據(jù)，包括：

保持?jǐn)?shù)據(jù)表的表頭結(jié)構(gòu)固定不變，根據(jù)所述數(shù)據(jù)表中的所述預(yù)設(shè)關(guān)鍵字段對應(yīng)的所述拆分區(qū)間范圍以及所述拆分值，確定所述拆分?jǐn)?shù)據(jù)，所述拆分?jǐn)?shù)據(jù)具備與所述數(shù)據(jù)表相同的所述結(jié)構(gòu)，所述待拆分?jǐn)?shù)據(jù)中包括至少一個所述數(shù)據(jù)表。

在一種可能的設(shè)計中，所述通過所述數(shù)據(jù)源節(jié)點將所述拆分?jǐn)?shù)據(jù)發(fā)送到目標(biāo)數(shù)據(jù)庫集群的目標(biāo)節(jié)點中，包括：