[發(fā)明專利]一種新型的庫(kù)結(jié)構(gòu)數(shù)據(jù)處理方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201810431605.4
• 申請(qǐng)日: 2018-05-08
• 公開(kāi)（公告）號(hào): CN108595691A
• 公開(kāi)（公告）日: 2018-09-28
• 發(fā)明（設(shè)計(jì)）人: 懷化
• 申請(qǐng)（專利權(quán)）人: 亳州中藥材商品交易中心有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京酷愛(ài)智慧知識(shí)產(chǎn)權(quán)代理有限公司 11514
• 代理人: 安娜

一種新型的庫(kù)結(jié)構(gòu)數(shù)據(jù)處理方法，包括豎結(jié)構(gòu)數(shù)據(jù)庫(kù)，其特征在于，豎結(jié)構(gòu)數(shù)據(jù)庫(kù)按照一個(gè)分類標(biāo)識(shí)對(duì)應(yīng)一個(gè)關(guān)鍵字的規(guī)則建立映射豎表，豎結(jié)構(gòu)數(shù)據(jù)庫(kù)的數(shù)據(jù)處理方法包括：S1：對(duì)一級(jí)分類標(biāo)識(shí)所對(duì)應(yīng)的一級(jí)值使用存儲(chǔ)格式存儲(chǔ)；S2：針對(duì)每個(gè)分類標(biāo)識(shí)欄內(nèi)的數(shù)據(jù)再細(xì)分為數(shù)據(jù)包，將欄位中重復(fù)的一級(jí)值打包進(jìn)行再存儲(chǔ)為二級(jí)分類標(biāo)識(shí)。本發(fā)明的有益效果是：解決了現(xiàn)有的計(jì)算機(jī)平臺(tái)系統(tǒng)在處理數(shù)據(jù)時(shí)，提取漏掉的數(shù)據(jù)需要重新提取所有的數(shù)據(jù)的問(wèn)題；提高了數(shù)據(jù)處理的速度及平臺(tái)系統(tǒng)的可靠性；通過(guò)豎存儲(chǔ)技術(shù)節(jié)省了存儲(chǔ)空間。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，尤其涉及一種新型的庫(kù)結(jié)構(gòu)數(shù)據(jù)處理方法。

背景技術(shù)

隨著智慧中國(guó)戰(zhàn)略的實(shí)施，大數(shù)據(jù)對(duì)于各行業(yè)影響深遠(yuǎn)。基于交易商細(xì)分和交易商精細(xì)化營(yíng)銷的需求已逐漸成為中藥材市場(chǎng)變革的主要手段。目前針對(duì)大宗交易平臺(tái)的數(shù)據(jù)管理和市場(chǎng)營(yíng)銷需求，通常由業(yè)務(wù)部門對(duì)各類經(jīng)營(yíng)指標(biāo)進(jìn)行分析，篩選出需要關(guān)注的業(yè)務(wù)指標(biāo)，然后提交技術(shù)部門采集相關(guān)業(yè)務(wù)字段的具體清單，最后由技術(shù)部門依據(jù)業(yè)務(wù)部門所提的方案，對(duì)相關(guān)數(shù)據(jù)進(jìn)行手工分析，輸出結(jié)果。基于目前的數(shù)據(jù)分析流程，要經(jīng)常應(yīng)對(duì)下豎事件：

1、業(yè)務(wù)部門所提的需求多樣，通常需要跨越多系統(tǒng)采集數(shù)據(jù)，才能夠滿足業(yè)務(wù)部門的分析需求；

2、針對(duì)多系統(tǒng)采集的數(shù)據(jù)，技術(shù)部門需要重新構(gòu)建多系統(tǒng)關(guān)聯(lián)的檢索指標(biāo)和屬性后方可聯(lián)機(jī)查詢，輸出業(yè)務(wù)部門需要的報(bào)表結(jié)果；

3、針對(duì)業(yè)務(wù)部門的大數(shù)據(jù)需求，技術(shù)部門需要將輸出后的報(bào)表結(jié)果轉(zhuǎn)化為直觀圖形予以體現(xiàn)。

現(xiàn)有技術(shù)中專利號(hào)：201610889114.5，公布了一種關(guān)系型數(shù)據(jù)庫(kù)的數(shù)據(jù)集成結(jié)構(gòu)，提供的一種關(guān)系型數(shù)據(jù)庫(kù)的數(shù)據(jù)集成結(jié)構(gòu)，實(shí)現(xiàn)了方便、快捷的從MySQL數(shù)據(jù)庫(kù)到MySQL數(shù)據(jù)庫(kù)、從Oracle數(shù)據(jù)庫(kù)到MySQL數(shù)據(jù)庫(kù)的數(shù)據(jù)集成減少了導(dǎo)入導(dǎo)出數(shù)據(jù)的工作量，使得數(shù)據(jù)同步工作更加簡(jiǎn)便、可控；專利號(hào)：201410818000.2，公布了一種數(shù)據(jù)庫(kù)中的數(shù)據(jù)混合存儲(chǔ)方法，為在復(fù)雜應(yīng)用場(chǎng)景下的列存數(shù)據(jù)庫(kù)提供了一種有效解決select*應(yīng)用模型物化效率低下的方法，提高了列存數(shù)據(jù)庫(kù)對(duì)于select*類型的查詢效率，擴(kuò)展了列存數(shù)據(jù)庫(kù)的適用范圍；減小了現(xiàn)有行列混合存儲(chǔ)方式占用的空間，同時(shí)數(shù)據(jù)的壓縮效率與列存儲(chǔ)相差不多。現(xiàn)有技術(shù)對(duì)于關(guān)系型數(shù)據(jù)仍通過(guò)行存儲(chǔ)存儲(chǔ)數(shù)據(jù)并進(jìn)行處理，仍需要跨越多系統(tǒng)進(jìn)行采集，數(shù)據(jù)導(dǎo)入導(dǎo)出效率較低。

發(fā)明內(nèi)容

本發(fā)明的目的是為了解決現(xiàn)有技術(shù)中存在的缺點(diǎn)，而提出的一種新型的庫(kù)結(jié)構(gòu)數(shù)據(jù)處理方法。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用了如下技術(shù)方案：一種新型的庫(kù)結(jié)構(gòu)數(shù)據(jù)處理方法，包括豎結(jié)構(gòu)數(shù)據(jù)庫(kù)，豎結(jié)構(gòu)數(shù)據(jù)庫(kù)按照一個(gè)分類標(biāo)識(shí)對(duì)應(yīng)一個(gè)關(guān)鍵字的規(guī)則建立映射豎表，豎結(jié)構(gòu)數(shù)據(jù)庫(kù)的數(shù)據(jù)處理方法包括：

S1：對(duì)一級(jí)分類標(biāo)識(shí)所對(duì)應(yīng)的一級(jí)值使用存儲(chǔ)格式存儲(chǔ)；

S2：針對(duì)每個(gè)分類標(biāo)識(shí)欄內(nèi)的數(shù)據(jù)再細(xì)分為數(shù)據(jù)包，將欄位中重復(fù)的一級(jí)值打包進(jìn)行再存儲(chǔ)為二級(jí)分類標(biāo)識(shí)。

優(yōu)選的，存儲(chǔ)格式通過(guò)關(guān)鍵字存儲(chǔ)并設(shè)有存儲(chǔ)位數(shù)限制。

優(yōu)選的，存儲(chǔ)位數(shù)限制為一個(gè)關(guān)鍵字。

優(yōu)選的，分類標(biāo)識(shí)包括多級(jí)分類標(biāo)識(shí)，分級(jí)數(shù)為N級(jí)，N>1，依次為一級(jí)分類標(biāo)識(shí)、二級(jí)分類標(biāo)識(shí)…N級(jí)分類標(biāo)識(shí)。

優(yōu)選的，一級(jí)分類標(biāo)識(shí)為預(yù)設(shè)標(biāo)識(shí)，二級(jí)分類標(biāo)識(shí)包含一級(jí)分類標(biāo)識(shí)，三級(jí)分類標(biāo)識(shí)包含二級(jí)分類標(biāo)識(shí)…N級(jí)分類標(biāo)識(shí)包含N-1級(jí)分類標(biāo)識(shí)，N級(jí)分類標(biāo)識(shí)包括N個(gè)關(guān)鍵字。

優(yōu)選的，S2后還包括S3,S3：將二級(jí)分類標(biāo)識(shí)所對(duì)應(yīng)的二級(jí)值使用存儲(chǔ)格式存儲(chǔ)；針對(duì)每個(gè)分類標(biāo)識(shí)欄內(nèi)的數(shù)據(jù)再細(xì)分為數(shù)據(jù)包，將欄位中重復(fù)的二級(jí)值打包進(jìn)行再存儲(chǔ)為三級(jí)分類標(biāo)識(shí)。