[發(fā)明專利]數(shù)據(jù)存儲(chǔ)和讀取方法、裝置及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201510853977.2
• 申請(qǐng)日: 2015-11-30
• 公開（公告）號(hào): CN105512216A
• 公開（公告）日: 2016-04-20
• 發(fā)明（設(shè)計(jì)）人: 嚴(yán)峰
• 申請(qǐng)（專利權(quán)）人: 青島海爾智能家電科技有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 工業(yè)和信息化部電子專利中心 11010
• 代理人: 秦瑩

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)庫技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)存儲(chǔ)和讀取方法、裝置 及系統(tǒng)。

背景技術(shù)

Hadoop是目前業(yè)界使用最多，最成熟的開源大數(shù)據(jù)存儲(chǔ)和計(jì)算平臺(tái)，它 包含了很多組件，其中MapReduce(即MR)是hadoop平臺(tái)上的編程模型。 適用于大數(shù)據(jù)量下的分布式計(jì)算。Redis是一種開源的索引/值(key/value)內(nèi) 存數(shù)據(jù)庫，支持多種數(shù)據(jù)格式的存儲(chǔ)。

HadoopMR提供了很多數(shù)據(jù)源的讀取實(shí)現(xiàn)，如文件，hbase數(shù)據(jù)庫等，但 對(duì)直接從redis讀取大批量數(shù)據(jù)并沒有很好的支持，具體地，HadoopMR是大 數(shù)據(jù)分布式計(jì)算的利器，輸入一般是hdfs文件。redis是key/value的內(nèi)存數(shù)據(jù) 庫，一般是根據(jù)單個(gè)key來讀取單個(gè)value。因此目前缺少直接大批量從redis 讀取數(shù)據(jù)到hadoopMR的方式。

發(fā)明內(nèi)容

鑒于上述問題，提出了本發(fā)明以便提供一種克服上述問題或者至少部分地 解決上述問題的數(shù)據(jù)存儲(chǔ)和讀取方法、裝置及系統(tǒng)。

本發(fā)明提供一種數(shù)據(jù)存儲(chǔ)方法，包括：

將數(shù)據(jù)庫中的關(guān)鍵詞key按照粒度大小分為兩級(jí)，其中，粒度較大的第一 級(jí)key對(duì)應(yīng)的數(shù)據(jù)值value為粒度較小的第二級(jí)key；

將需要存儲(chǔ)的數(shù)據(jù)作為第二級(jí)key的value保存。

本發(fā)明還提供了一種數(shù)據(jù)讀取方法，用于Hadoop編程模型MR從數(shù)據(jù)庫 讀取數(shù)據(jù)，包括：

獲取數(shù)據(jù)庫中第一級(jí)關(guān)鍵詞key對(duì)應(yīng)的數(shù)據(jù)值value，獲取第二級(jí)key；

根據(jù)獲取的參數(shù)N將第二級(jí)key分為N份，其中，每份第二級(jí)key對(duì)應(yīng) 一個(gè)計(jì)算單元的輸入，N大于等于1且小于等于第二級(jí)key的個(gè)數(shù)；

通過計(jì)算單元并發(fā)讀取相應(yīng)的第二級(jí)key所對(duì)應(yīng)的value。

本發(fā)明還提供了一種數(shù)據(jù)存儲(chǔ)裝置，包括：

分級(jí)模塊，用于將數(shù)據(jù)庫中的關(guān)鍵詞key按照粒度大小分為兩級(jí)，其中， 粒度較大的第一級(jí)key對(duì)應(yīng)的數(shù)據(jù)值value為粒度較小的第二級(jí)key；

存儲(chǔ)模塊，用于將需要存儲(chǔ)的數(shù)據(jù)作為第二級(jí)key的value保存。

本發(fā)明還提供了一種數(shù)據(jù)讀取裝置，設(shè)置于Hadoop編程模型MR，包括：

獲取模塊，用于獲取數(shù)據(jù)庫中第一級(jí)關(guān)鍵詞key對(duì)應(yīng)的數(shù)據(jù)值value，獲 取第二級(jí)key；

切分模塊，用于根據(jù)獲取的參數(shù)N將第二級(jí)key分為N份，其中，每份 第二級(jí)key對(duì)應(yīng)一個(gè)計(jì)算單元的輸入，N大于等于1且小于等于第二級(jí)key的 個(gè)數(shù)；

讀取模塊，用于通過計(jì)算單元并發(fā)讀取相應(yīng)的第二級(jí)key所對(duì)應(yīng)的value。

本發(fā)明還提供了一種數(shù)據(jù)存儲(chǔ)讀取系統(tǒng)，包括上述的數(shù)據(jù)存儲(chǔ)裝置、以及 上述的數(shù)據(jù)讀取裝置。

本發(fā)明有益效果如下：

通過將數(shù)據(jù)庫設(shè)置為二級(jí)模式，擴(kuò)展了hadoopMR的數(shù)據(jù)訪問范圍，將設(shè) 置為二級(jí)模式的數(shù)據(jù)庫也納入了大數(shù)據(jù)處理范圍中，使得hadoopMR能夠直接 大批量從數(shù)據(jù)庫讀取數(shù)據(jù)，提升了hadoopMR的運(yùn)行效率。

上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù) 手段，而可依照說明書的內(nèi)容予以實(shí)施，并且為了讓本發(fā)明的上述和其它目的、 特征和優(yōu)點(diǎn)能夠更明顯易懂，以下特舉本發(fā)明的具體實(shí)施方式。

附圖說明

通過閱讀下文優(yōu)選實(shí)施方式的詳細(xì)描述，各種其他的優(yōu)點(diǎn)和益處對(duì)于本領(lǐng) 域普通技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實(shí)施方式的目的，而并 不認(rèn)為是對(duì)本發(fā)明的限制。而且在整個(gè)附圖中，用相同的參考符號(hào)表示相同的 部件。在附圖中：

圖1是本發(fā)明實(shí)施例的數(shù)據(jù)存儲(chǔ)方法的流程圖；

圖2是本發(fā)明實(shí)施例的Redis數(shù)據(jù)庫的示意圖；

圖3是本發(fā)明實(shí)施例的數(shù)據(jù)讀取方法的流程圖；

圖4是本發(fā)明實(shí)施例的hadoopMR從redis數(shù)據(jù)庫讀取數(shù)據(jù)的示意圖；

圖5是本發(fā)明實(shí)施例的數(shù)據(jù)存儲(chǔ)裝置的結(jié)構(gòu)示意圖；

圖6是本發(fā)明實(shí)施例的數(shù)據(jù)讀取裝置的結(jié)構(gòu)示意圖；

圖7是本發(fā)明實(shí)施例的數(shù)據(jù)存儲(chǔ)讀取系統(tǒng)的結(jié)構(gòu)示意圖。

具體實(shí)施方式