[發(fā)明專利]一種Redis數(shù)據(jù)庫(kù)中數(shù)據(jù)的抽取方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201710617612.9
• 申請(qǐng)日: 2017-07-26
• 公開(kāi)（公告）號(hào): CN107247814A
• 公開(kāi)（公告）日: 2017-10-13
• 發(fā)明（設(shè)計(jì)）人: 王黎;肖宇涵
• 申請(qǐng)（專利權(quán)）人: 浙江極贏信息技術(shù)有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司11227
• 代理人: 羅滿

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)抽取領(lǐng)域，特別是涉及一種Redis數(shù)據(jù)庫(kù)中數(shù)據(jù)的抽取方法及裝置。

背景技術(shù)

Redis是一種專門為高性能而設(shè)計(jì)的數(shù)據(jù)庫(kù)，由于其經(jīng)過(guò)優(yōu)化的數(shù)據(jù)結(jié)構(gòu)，所以在對(duì)于數(shù)據(jù)進(jìn)行處理時(shí)僅存在亞毫秒的延遲。Redis數(shù)據(jù)庫(kù)不僅可以高效地利用內(nèi)存、降低應(yīng)用程序的復(fù)雜性，還降低了網(wǎng)絡(luò)開(kāi)銷、帶寬消耗和處理時(shí)間，因此逐漸成為當(dāng)下受歡迎并廣泛使用的數(shù)據(jù)庫(kù)。

在使用Redis數(shù)據(jù)庫(kù)時(shí)，使用者需要通過(guò)相應(yīng)指令對(duì)Redis數(shù)據(jù)庫(kù)進(jìn)行控制，以讀取存儲(chǔ)在其中的數(shù)據(jù)，但是往往會(huì)出現(xiàn)在集群環(huán)境中多臺(tái)設(shè)備同時(shí)頻繁進(jìn)行數(shù)據(jù)讀取的情況，這會(huì)導(dǎo)致Redis數(shù)據(jù)庫(kù)工作壓力的增加，相應(yīng)的降低了其工作效率。另一方面，由于Redis數(shù)據(jù)庫(kù)所存儲(chǔ)的數(shù)據(jù)無(wú)法系統(tǒng)的體現(xiàn)出鍵名與數(shù)據(jù)之間的對(duì)應(yīng)關(guān)系，所以不方便使用者了解整體的數(shù)據(jù)情況以及對(duì)數(shù)據(jù)進(jìn)行后續(xù)的使用。

由此可見(jiàn)，提供一種Redis數(shù)據(jù)庫(kù)中數(shù)據(jù)的抽取方法，以在提高數(shù)據(jù)的可讀性以及可用性的同時(shí)降低Redis數(shù)據(jù)庫(kù)的工作壓力，是本領(lǐng)域技術(shù)人員亟待解決的問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種Redis數(shù)據(jù)庫(kù)中數(shù)據(jù)的抽取方法及裝置，降低了Redis數(shù)據(jù)庫(kù)的工作壓力并且提高了數(shù)據(jù)的可讀性和可用性。

為解決上述技術(shù)問(wèn)題，本發(fā)明提供一種Redis數(shù)據(jù)庫(kù)中數(shù)據(jù)的抽取方法，包括：

獲取Redis數(shù)據(jù)庫(kù)中的鍵名構(gòu)成的鍵名列表；

根據(jù)鍵名列表中的目標(biāo)鍵名，在Redis數(shù)據(jù)庫(kù)中查找與目標(biāo)鍵名對(duì)應(yīng)的目標(biāo)數(shù)據(jù)；

將目標(biāo)鍵名與目標(biāo)數(shù)據(jù)進(jìn)行整合，以獲得目標(biāo)鍵名與目標(biāo)數(shù)據(jù)的映射關(guān)系。

優(yōu)選的，獲取Redis數(shù)據(jù)庫(kù)中的鍵名構(gòu)成的鍵名列表，具體為：

通過(guò)Spark數(shù)據(jù)處理引擎獲取Redis數(shù)據(jù)庫(kù)中的鍵名構(gòu)成的鍵名列表。

優(yōu)選的，在將目標(biāo)鍵名與目標(biāo)數(shù)據(jù)進(jìn)行整合，以獲得目標(biāo)鍵名與目標(biāo)數(shù)據(jù)的映射關(guān)系后，該方法進(jìn)一步包括：

判斷是否對(duì)鍵名列表中的任意一個(gè)目標(biāo)鍵名進(jìn)行目標(biāo)數(shù)據(jù)的查找；

如果否，則返回根據(jù)鍵名列表中的目標(biāo)鍵名，在Redis數(shù)據(jù)庫(kù)中查找與目標(biāo)鍵名對(duì)應(yīng)的目標(biāo)數(shù)據(jù)的步驟。

優(yōu)選的，在將目標(biāo)鍵名與目標(biāo)數(shù)據(jù)進(jìn)行整合，以獲得目標(biāo)鍵名與目標(biāo)數(shù)據(jù)的映射關(guān)系后，該方法進(jìn)一步包括：

根據(jù)映射關(guān)系將目標(biāo)鍵名與對(duì)應(yīng)的目標(biāo)數(shù)據(jù)保存為彈性分布式數(shù)據(jù)集RDD。

優(yōu)選的，在根據(jù)映射關(guān)系將目標(biāo)鍵名與對(duì)應(yīng)的目標(biāo)數(shù)據(jù)保存為彈性分布式數(shù)據(jù)集RDD后，該方法進(jìn)一步包括：

將彈性分布式數(shù)據(jù)集RDD轉(zhuǎn)化為文本文件。

優(yōu)選的，在將彈性分布式數(shù)據(jù)集RDD轉(zhuǎn)化為文本文件后，該方法進(jìn)一步包括：

將文本文件保存到本地或分布式文件系統(tǒng)HDFS中。

優(yōu)選的，將目標(biāo)鍵名與目標(biāo)數(shù)據(jù)進(jìn)行整合具體為：

通過(guò)concat函數(shù)將目標(biāo)鍵名與目標(biāo)數(shù)據(jù)進(jìn)行整合。

此外，本發(fā)明還提供一種Redis數(shù)據(jù)庫(kù)中數(shù)據(jù)的抽取裝置，包括：

鍵名獲取模塊，用于獲取Redis數(shù)據(jù)庫(kù)中的鍵名構(gòu)成的鍵名列表；

數(shù)據(jù)獲取模塊，用于根據(jù)鍵名列表中的目標(biāo)鍵名，在Redis數(shù)據(jù)庫(kù)中查找與目標(biāo)鍵名對(duì)應(yīng)的目標(biāo)數(shù)據(jù)；

整合模塊，用于將目標(biāo)鍵名與目標(biāo)數(shù)據(jù)進(jìn)行整合，以獲得目標(biāo)鍵名與目標(biāo)數(shù)據(jù)的映射關(guān)系。

優(yōu)選的，該裝置進(jìn)一步包括：

判斷模塊，用于判斷是否對(duì)鍵名列表中的任意一個(gè)目標(biāo)鍵名進(jìn)行目標(biāo)數(shù)據(jù)的查找；

如果是，則調(diào)用數(shù)據(jù)獲取模塊。

優(yōu)選的，該裝置進(jìn)一步包括：

RDD存儲(chǔ)模塊，用于根據(jù)映射關(guān)系將目標(biāo)鍵名與對(duì)應(yīng)的目標(biāo)數(shù)據(jù)保存為彈性分布式數(shù)據(jù)集RDD。

本發(fā)明所提供的一種Redis數(shù)據(jù)庫(kù)中數(shù)據(jù)的抽取方法，在獲取Redis數(shù)據(jù)庫(kù)中的鍵名列表后，通過(guò)鍵名列表里的鍵名，在Redis數(shù)據(jù)庫(kù)中尋找與該鍵名對(duì)應(yīng)的數(shù)據(jù)，并且建立鍵名與數(shù)據(jù)之間映射關(guān)系。當(dāng)集群中的設(shè)備需要讀取Redis數(shù)據(jù)庫(kù)中的數(shù)據(jù)時(shí)，可以直接通過(guò)訪問(wèn)上述映射關(guān)系，獲得相應(yīng)的數(shù)據(jù)。由此可見(jiàn)，本方法相當(dāng)于對(duì)Redis數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行一次讀取，多次使用，以此可以減輕Redis數(shù)據(jù)庫(kù)由于被頻繁讀出數(shù)據(jù)而出現(xiàn)的效率降低的問(wèn)題。另一方面，由于上述映射關(guān)系明確的展示出了鍵名以及與該鍵名所對(duì)應(yīng)的數(shù)據(jù)，因此用戶可以直接在映射關(guān)系中根據(jù)鍵名得到所需要的數(shù)據(jù)，進(jìn)而方便了使用者了解數(shù)據(jù)的整體情況，也方便對(duì)數(shù)據(jù)進(jìn)行后續(xù)的使用。此外，本發(fā)明還提供一種Redis數(shù)據(jù)庫(kù)中數(shù)據(jù)的抽取裝置，有益效果如上所述。

附圖說(shuō)明