[發(fā)明專利]數(shù)據(jù)儲(chǔ)存方法、裝置以及計(jì)算機(jī)存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201910151704.1
• 申請(qǐng)日: 2019-02-28
• 公開（公告）號(hào): CN109871416A
• 公開（公告）日: 2019-06-11
• 發(fā)明（設(shè)計(jì)）人: 侯松;談晟;劉峰
• 申請(qǐng)（專利權(quán)）人: 上海汽車集團(tuán)股份有限公司
• 主分類號(hào): G06F16/28
• 分類號(hào): G06F16/28;G06F16/22
• 代理公司: 北京信遠(yuǎn)達(dá)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11304
• 代理人: 魏曉波

一種數(shù)據(jù)儲(chǔ)存方法、裝置以及計(jì)算機(jī)存儲(chǔ)介質(zhì)，所述方法包括：從關(guān)系型數(shù)據(jù)庫(kù)中獲取多條行式表；根據(jù)行式表中的數(shù)據(jù)類別確定鍵；根據(jù)所述鍵包含的數(shù)據(jù)類別提取行式表中對(duì)應(yīng)的數(shù)據(jù)值；將提取的每一條行式表中的數(shù)據(jù)值分別儲(chǔ)存于不同的存儲(chǔ)分片。采用上述方案，一方面控制或避免存儲(chǔ)分片的自動(dòng)擴(kuò)展與合并，即存儲(chǔ)分片的數(shù)量以及存儲(chǔ)的數(shù)據(jù)類別可以預(yù)先設(shè)定，另一方面預(yù)先定義鍵，可以提升數(shù)據(jù)查詢的性能。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，尤其涉及一種數(shù)據(jù)儲(chǔ)存方法、裝置以及計(jì)算機(jī)存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著信息化技術(shù)的發(fā)展，大數(shù)據(jù)應(yīng)用已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。對(duì)于大多數(shù)行業(yè)的企業(yè)，業(yè)務(wù)數(shù)據(jù)主要存儲(chǔ)在傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)中，需要將數(shù)據(jù)庫(kù)中的數(shù)據(jù)轉(zhuǎn)存至大數(shù)據(jù)平臺(tái)。

現(xiàn)有技術(shù)中，將關(guān)系型數(shù)據(jù)庫(kù)中的數(shù)據(jù)轉(zhuǎn)存至大數(shù)據(jù)平臺(tái)通常采用以下兩種方案：1)行式存儲(chǔ)，將行式表從關(guān)系型數(shù)據(jù)庫(kù)中導(dǎo)出，并導(dǎo)入大數(shù)據(jù)平臺(tái)的分布式系統(tǒng)，每個(gè)表以單獨(dú)的CSV格式文件存儲(chǔ)；2)列式存儲(chǔ)，將每個(gè)行式表按列式劃分，劃分后分別存儲(chǔ)至一個(gè)存儲(chǔ)分片。

然而，采用方案1)時(shí)，數(shù)據(jù)查詢性能較差；采用方案2)時(shí)，在存儲(chǔ)分片數(shù)量過多的情況下，會(huì)導(dǎo)致數(shù)據(jù)節(jié)點(diǎn)服務(wù)器壓力過大，進(jìn)而使得數(shù)據(jù)查詢性能較差。

發(fā)明內(nèi)容

本發(fā)明解決的技術(shù)問題是數(shù)據(jù)查詢性能較差。

為解決上述技術(shù)問題，本發(fā)明實(shí)施例提供一種數(shù)據(jù)儲(chǔ)存方法，包括：從關(guān)系型數(shù)據(jù)庫(kù)中獲取多條行式表；根據(jù)行式表中的數(shù)據(jù)類別確定鍵；根據(jù)所述鍵包含的數(shù)據(jù)類別提取行式表中對(duì)應(yīng)的數(shù)據(jù)值；將提取的每一條行式表中的數(shù)據(jù)值分別儲(chǔ)存于不同的存儲(chǔ)分片。

可選的，確定存儲(chǔ)分片的數(shù)量以及各個(gè)存儲(chǔ)分片存儲(chǔ)的數(shù)據(jù)類別；根據(jù)存儲(chǔ)分片存儲(chǔ)的數(shù)據(jù)類別確定主鍵；將各條行式表的表名作為輔鍵；所述鍵包括：主鍵和輔鍵。

可選的，根據(jù)表名以及數(shù)據(jù)類別提取對(duì)應(yīng)的行式表中對(duì)應(yīng)的數(shù)據(jù)值。

可選的，將提取的數(shù)據(jù)值根據(jù)對(duì)應(yīng)的表名以及數(shù)據(jù)類別儲(chǔ)存于存儲(chǔ)分片，每一存儲(chǔ)分片包含所有行式表中相同數(shù)據(jù)類別對(duì)應(yīng)的數(shù)據(jù)值。

可選的，所述存儲(chǔ)分片的數(shù)量為2ⁿ，其中n為預(yù)設(shè)的常數(shù)。

本發(fā)明還提供一種數(shù)據(jù)儲(chǔ)存裝置，包括：獲取單元，用于從關(guān)系型數(shù)據(jù)庫(kù)中獲取多條行式表；確定單元，用于根據(jù)行式表中的數(shù)據(jù)類別確定鍵；提取單元，用于根據(jù)所述鍵包含的數(shù)據(jù)類別提取行式表中對(duì)應(yīng)的數(shù)據(jù)值；儲(chǔ)存單元，用于將提取的每一條行式表中的數(shù)據(jù)值分別儲(chǔ)存于不同的存儲(chǔ)分片。

可選的，所述確定單元，還用于確定存儲(chǔ)分片的數(shù)量以及各個(gè)存儲(chǔ)分片存儲(chǔ)的數(shù)據(jù)類別；根據(jù)存儲(chǔ)分片存儲(chǔ)的數(shù)據(jù)類別確定主鍵；將各條行式表的表名作為輔鍵；所述鍵包括：主鍵和輔鍵。

可選的，所述提取單元，還用于根據(jù)表名以及數(shù)據(jù)類別提取對(duì)應(yīng)的行式表中對(duì)應(yīng)的數(shù)據(jù)值。

可選的，所述儲(chǔ)存單元，還用于將提取的數(shù)據(jù)值根據(jù)對(duì)應(yīng)的表名以及數(shù)據(jù)類別儲(chǔ)存于存儲(chǔ)分片，每一存儲(chǔ)分片包含所有行式表中相同數(shù)據(jù)類別對(duì)應(yīng)的數(shù)據(jù)值。

可選的，所述存儲(chǔ)分片的數(shù)量為2ⁿ，其中n為預(yù)設(shè)的常數(shù)。

本發(fā)明還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)指令，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)為非易失性存儲(chǔ)介質(zhì)或非瞬態(tài)存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)指令運(yùn)行時(shí)執(zhí)行本發(fā)明任一實(shí)施例提供的數(shù)據(jù)儲(chǔ)存方法的步驟。

本發(fā)明還提供一種數(shù)據(jù)儲(chǔ)存裝置，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器上存儲(chǔ)有計(jì)算機(jī)指令，所述計(jì)算機(jī)指令運(yùn)行時(shí)所述處理器執(zhí)行本發(fā)明任一實(shí)施例提供的數(shù)據(jù)儲(chǔ)存方法的步驟。

與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)施例的技術(shù)方案具有以下有益效果：