[發(fā)明專利]一種數(shù)據(jù)寫入方法及裝置、數(shù)據(jù)讀取方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201310493539.0
• 申請(qǐng)日: 2013-10-18
• 公開（公告）號(hào): CN103500224A
• 公開（公告）日: 2014-01-08
• 發(fā)明（設(shè)計(jì)）人: 陳宏仁;張毅;錢運(yùn)輝;王培勇
• 申請(qǐng)（專利權(quán)）人: 稅友軟件集團(tuán)股份有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王寶筠

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)寫入方法及裝置、數(shù)據(jù)讀取方法及裝置。

背景技術(shù)

數(shù)據(jù)分析應(yīng)用系統(tǒng)是指對(duì)生產(chǎn)交易等各類業(yè)務(wù)數(shù)據(jù)進(jìn)行加工運(yùn)算、匯總、篩選等操作的軟件平臺(tái)。數(shù)據(jù)分析應(yīng)用系統(tǒng)通過加載數(shù)據(jù)庫(kù)中的原始數(shù)據(jù)，并經(jīng)過一系列數(shù)據(jù)操作得到結(jié)果數(shù)據(jù)，然后將結(jié)果數(shù)據(jù)存儲(chǔ)到結(jié)果數(shù)據(jù)庫(kù)中的數(shù)據(jù)表中，即，全部結(jié)果數(shù)據(jù)都將從數(shù)據(jù)分析應(yīng)用系統(tǒng)所在的應(yīng)用服務(wù)器傳輸?shù)浇Y(jié)果數(shù)據(jù)庫(kù)所在的數(shù)據(jù)庫(kù)服務(wù)器上。

現(xiàn)有技術(shù)中，結(jié)果數(shù)據(jù)是逐條寫入數(shù)據(jù)庫(kù)服務(wù)器中的數(shù)據(jù)表的。發(fā)明人在實(shí)現(xiàn)本發(fā)明創(chuàng)造的過程中發(fā)現(xiàn)：由于結(jié)果數(shù)據(jù)的數(shù)據(jù)量很大，即，結(jié)果數(shù)據(jù)包括很多條數(shù)據(jù)記錄，逐條寫入數(shù)據(jù)記錄將導(dǎo)致結(jié)果數(shù)據(jù)的存儲(chǔ)耗時(shí)很長(zhǎng)。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供了一種寫入方法及裝置、數(shù)據(jù)讀取方法及裝置，用以解決現(xiàn)有技術(shù)中逐條寫入數(shù)據(jù)記錄將導(dǎo)致結(jié)果數(shù)據(jù)的存儲(chǔ)耗時(shí)很長(zhǎng)的問題，其技術(shù)方案如下：

一種數(shù)據(jù)寫入方法，包括：

對(duì)包含多條第一數(shù)據(jù)記錄的待寫入數(shù)據(jù)進(jìn)行分塊，所述待寫入數(shù)據(jù)為依據(jù)各條第一數(shù)據(jù)記錄的序號(hào)對(duì)所述多條第一數(shù)據(jù)記錄進(jìn)行排序后得到的數(shù)據(jù)，所述分塊的數(shù)量小于所述待寫入數(shù)據(jù)中第一數(shù)據(jù)記錄的條數(shù)；

針對(duì)數(shù)據(jù)塊中的目標(biāo)數(shù)據(jù)塊，對(duì)所述目標(biāo)數(shù)據(jù)塊進(jìn)行數(shù)據(jù)壓縮，將所述目標(biāo)數(shù)據(jù)塊中第一數(shù)據(jù)記錄的最大序號(hào)和最小序號(hào)以及壓縮后的數(shù)據(jù)作為第二數(shù)據(jù)記錄寫入數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)表中，直至所述待寫入數(shù)據(jù)的第一數(shù)據(jù)記錄全部寫入所述數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)表中。

可選的，上述數(shù)據(jù)寫入方法還可以包括：

判斷所述待寫入數(shù)據(jù)所包含的多條第一數(shù)據(jù)記錄是否依據(jù)所述各條第一數(shù)據(jù)記錄的序號(hào)進(jìn)行排序；

如果否，則依據(jù)所述各條第一數(shù)據(jù)記錄的序號(hào)按從小到大，或者從大到小的順序進(jìn)行排序。

其中，對(duì)包含多條第一數(shù)據(jù)記錄的待寫入數(shù)據(jù)進(jìn)行分塊，包括：

確定所述待寫入數(shù)據(jù)中第一數(shù)據(jù)記錄的總條數(shù)M；

基于所述待寫入數(shù)據(jù)中第一數(shù)據(jù)記錄的總條數(shù)M，以及預(yù)先設(shè)定的每個(gè)數(shù)據(jù)塊所包含第一數(shù)據(jù)記錄的最大條數(shù)S，對(duì)所述待寫入數(shù)據(jù)進(jìn)行分塊，使分塊后的每個(gè)數(shù)據(jù)塊中的第一數(shù)據(jù)記錄的條數(shù)小于或等于S，其中，M和S均為大于0的整數(shù)。

一種數(shù)據(jù)讀取方法，包括：

獲取待讀取第一數(shù)據(jù)記錄的序號(hào)；

基于所述待讀取第一數(shù)據(jù)記錄的序號(hào)以及數(shù)據(jù)庫(kù)服務(wù)器存儲(chǔ)的數(shù)據(jù)表的第二數(shù)據(jù)記錄中，第一數(shù)據(jù)記錄的最大序號(hào)和最小序號(hào)確定所述待讀取第一數(shù)據(jù)記錄所屬的第二數(shù)據(jù)記錄；

對(duì)確定出的第二數(shù)據(jù)記錄中的壓縮數(shù)據(jù)進(jìn)行解壓；

基于所述待讀取第一數(shù)據(jù)記錄的序號(hào)在解壓后得到的第一數(shù)據(jù)記錄中查找所述待讀取第一數(shù)據(jù)記錄；

在查找到所述第一數(shù)據(jù)記錄后，讀取所述待讀取第一數(shù)據(jù)記錄。

其中，基于所述待讀取第一數(shù)據(jù)記錄的序號(hào)以及數(shù)據(jù)庫(kù)服務(wù)器存儲(chǔ)的數(shù)據(jù)表的第二數(shù)據(jù)記錄中，第一數(shù)據(jù)記錄的最大序號(hào)和最小序號(hào)確定所述待讀取第一數(shù)據(jù)記錄所屬的第二數(shù)據(jù)記錄，包括：

在所述數(shù)據(jù)表中的第二數(shù)據(jù)記錄中查找第一數(shù)據(jù)記錄的最小序號(hào)小于或等于所述待讀取第一數(shù)據(jù)記錄的序號(hào)，并且第一數(shù)據(jù)記錄的最大序號(hào)大于或等于所述待讀取第一數(shù)據(jù)記錄的序號(hào)的第二數(shù)據(jù)記錄，確定該第二數(shù)據(jù)記錄為所述待讀取第一數(shù)據(jù)記錄所屬的第二數(shù)據(jù)記錄。

一種數(shù)據(jù)寫入裝置，包括：

數(shù)據(jù)分塊模塊，用于對(duì)包含多條第一數(shù)據(jù)記錄的待寫入數(shù)據(jù)進(jìn)行分塊，所述待寫入數(shù)據(jù)為依據(jù)各條第一數(shù)據(jù)記錄的序號(hào)對(duì)所述多條第一數(shù)據(jù)記錄進(jìn)行排序后的數(shù)據(jù)，所述分塊的數(shù)量小于所述待寫入數(shù)據(jù)中第一數(shù)據(jù)記錄的條數(shù)；

數(shù)據(jù)壓縮模塊，用于針對(duì)數(shù)據(jù)塊中的目標(biāo)數(shù)據(jù)塊，對(duì)所述目標(biāo)數(shù)據(jù)塊進(jìn)行數(shù)據(jù)壓縮；

數(shù)據(jù)寫入模塊，用于將所述目標(biāo)數(shù)據(jù)塊中第一數(shù)據(jù)記錄的最大序號(hào)和最小序號(hào)以及壓縮后的數(shù)據(jù)作為第二數(shù)據(jù)記錄寫入數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)表中，直至所述待寫入數(shù)據(jù)的第一數(shù)據(jù)記錄全部寫入所述數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)表中。

可選的，上述的數(shù)據(jù)寫入裝置還包括：

判斷模塊，用于判斷所述待寫入數(shù)據(jù)所包含的多條第一數(shù)據(jù)記錄是否依據(jù)所述各條第一數(shù)據(jù)記錄的序號(hào)進(jìn)行排序；

排序模塊，用于當(dāng)所述待寫入數(shù)據(jù)所包含的多條第一數(shù)據(jù)記錄未依據(jù)所述各條第一數(shù)據(jù)記錄的序號(hào)進(jìn)行排序時(shí)，依據(jù)所述各條第一數(shù)據(jù)記錄的序號(hào)按從小到大，或者從大到小的順序進(jìn)行排序。

其中，所述數(shù)據(jù)分塊模塊包括：

第一確定子模塊，用于確定所述待寫入數(shù)據(jù)中第一數(shù)據(jù)記錄的總條數(shù)M；