[發(fā)明專利]一種數(shù)據(jù)處理方法、裝置及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201710894923.X
• 申請(qǐng)日: 2017-09-28
• 公開（公告）號(hào): CN110069487A
• 公開（公告）日: 2019-07-30
• 發(fā)明（設(shè)計(jì)）人: 商平鋒
• 申請(qǐng)（專利權(quán)）人: 北京國(guó)雙科技有限公司
• 主分類號(hào): G06F16/22
• 分類號(hào): G06F16/22;G06F16/242;G06F16/27;G06F16/28
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王寶筠

本發(fā)明公開了一種數(shù)據(jù)處理方法、裝置及系統(tǒng)，該方法應(yīng)用于分布式關(guān)系型數(shù)據(jù)庫(kù)，數(shù)據(jù)庫(kù)預(yù)先創(chuàng)建有目標(biāo)數(shù)據(jù)表，目標(biāo)數(shù)據(jù)表包括表征版本號(hào)的列，該方法首先獲取目標(biāo)數(shù)據(jù)的操作類型，其中，操作類型包括數(shù)據(jù)修改、數(shù)據(jù)增加以及數(shù)據(jù)刪除中的任意一個(gè)或多個(gè)操作類型。然后，根據(jù)操作類型，將目標(biāo)數(shù)據(jù)插入目標(biāo)數(shù)據(jù)表的空白行。可見，本方案將數(shù)據(jù)操作均變成在目標(biāo)數(shù)據(jù)表中的插入操作，對(duì)應(yīng)的通過(guò)版本號(hào)進(jìn)行區(qū)分不同的數(shù)據(jù)，而非現(xiàn)有技術(shù)中對(duì)數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行更新和刪除。進(jìn)一步的，在數(shù)據(jù)讀取時(shí)，獲取版本號(hào)最新的行的數(shù)據(jù)即可，由于分布式關(guān)系型數(shù)據(jù)庫(kù)的數(shù)據(jù)插入能力較強(qiáng)，因此采用本數(shù)據(jù)處理方法，能夠快速的對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)和讀取。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法、裝置及系統(tǒng)。

背景技術(shù)

隨著大數(shù)據(jù)的快速發(fā)展，數(shù)據(jù)量越來(lái)越多，這就要求數(shù)據(jù)處理系統(tǒng)的計(jì)算能力以及存儲(chǔ)能力也越來(lái)越強(qiáng)。然而，對(duì)于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)，隨著數(shù)據(jù)的逐步增加，其數(shù)據(jù)查詢性能顯著下降，已經(jīng)無(wú)法滿足海量數(shù)據(jù)下數(shù)據(jù)分析的需求。

因此，分布式數(shù)據(jù)庫(kù)憑借其聯(lián)機(jī)分析處理能力(OLAP功能)，能夠通過(guò)線性擴(kuò)展服務(wù)器，實(shí)現(xiàn)海量數(shù)據(jù)的快速查詢性能。然而，SEM業(yè)務(wù)的數(shù)據(jù)增刪改要求較大，需要系統(tǒng)支持聯(lián)機(jī)事物處理能力(OLTP功能)的場(chǎng)景。除此，海量數(shù)據(jù)在多維度分析時(shí)，需要系統(tǒng)支持聯(lián)機(jī)分析處理能力(OLAP功能)的場(chǎng)景。

綜上，如何提供一種數(shù)據(jù)處理方法，使得系統(tǒng)同時(shí)支持OLAP功能以及OLTP功能，以便系統(tǒng)快速進(jìn)行數(shù)據(jù)查詢，是本領(lǐng)域技術(shù)人員亟待解決的一大技術(shù)問(wèn)題。

發(fā)明內(nèi)容

鑒于上述問(wèn)題，提出了本發(fā)明以便提供一種克服上述問(wèn)題或者至少部分地解決上述問(wèn)題的技術(shù)方案：

一種數(shù)據(jù)處理方法，應(yīng)用于分布式關(guān)系型數(shù)據(jù)庫(kù)，所述數(shù)據(jù)庫(kù)預(yù)先創(chuàng)建有目標(biāo)數(shù)據(jù)表，所述目標(biāo)數(shù)據(jù)表包括表征版本號(hào)的列，該方法包括：

獲取目標(biāo)數(shù)據(jù)的操作類型，所述操作類型包括數(shù)據(jù)修改、數(shù)據(jù)增加以及數(shù)據(jù)刪除中的任意一個(gè)或多個(gè)操作類型；

根據(jù)所述操作類型，將所述目標(biāo)數(shù)據(jù)插入所述目標(biāo)數(shù)據(jù)表的空白行。

可選的，還包括：

基于用戶的查詢指令，獲取與所述查詢指令對(duì)應(yīng)的待查詢數(shù)據(jù)；

確定所述目標(biāo)數(shù)據(jù)表中包含所述待查詢數(shù)據(jù)的行中，所述表征版本號(hào)的列中版本號(hào)符合預(yù)設(shè)條件的數(shù)據(jù)內(nèi)容為目標(biāo)查詢數(shù)據(jù)。

可選的，還包括：

獲取所述目標(biāo)數(shù)據(jù)表中所述列的類型標(biāo)識(shí)；

按照預(yù)設(shè)劃分規(guī)則，將所述列進(jìn)行分區(qū)，生成多個(gè)數(shù)據(jù)分區(qū)。

可選的，還包括：

確定所述目標(biāo)數(shù)據(jù)表中所述表征版本號(hào)的列中版本號(hào)屬性相同的數(shù)據(jù)為歷史數(shù)據(jù)，所述版本號(hào)至少包括版本號(hào)屬性以及版本號(hào)信息；

根據(jù)所述歷史數(shù)據(jù)，建立數(shù)據(jù)緩存表；

刪除所述目標(biāo)數(shù)據(jù)表中的所述歷史數(shù)據(jù)。

一種數(shù)據(jù)處理裝置，應(yīng)用于分布式關(guān)系型數(shù)據(jù)庫(kù)，所述數(shù)據(jù)庫(kù)預(yù)先創(chuàng)建有目標(biāo)數(shù)據(jù)表，所述目標(biāo)數(shù)據(jù)表包括表征版本號(hào)的列，該裝置包括：

第一獲取模塊，用于獲取目標(biāo)數(shù)據(jù)的操作類型，所述操作類型包括數(shù)據(jù)修改、數(shù)據(jù)增加以及數(shù)據(jù)刪除中的任意一個(gè)或多個(gè)操作類型；

插入模塊，用于根據(jù)所述操作類型，將所述目標(biāo)數(shù)據(jù)插入所述目標(biāo)數(shù)據(jù)表的空白行。

可選的，還包括：

第二獲取模塊，用于基于用戶的查詢指令，獲取與所述查詢指令對(duì)應(yīng)的待查詢數(shù)據(jù)；