[發(fā)明專利]數(shù)據(jù)處理方法及其系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201610417289.6
• 申請(qǐng)日: 2016-06-14
• 公開（公告）號(hào): CN107506356B
• 公開（公告）日: 2019-03-01
• 發(fā)明（設(shè)計(jì)）人: 侍建超
• 申請(qǐng)（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號(hào): G06F16/22
• 分類號(hào): G06F16/22;G06F16/245
• 代理公司: 北京律智知識(shí)產(chǎn)權(quán)代理有限公司 11438
• 代理人: 袁禮君;姜怡

本發(fā)明是關(guān)于一種數(shù)據(jù)處理方法及其系統(tǒng)，屬于數(shù)據(jù)處理技術(shù)領(lǐng)域。該方法包括：將一數(shù)據(jù)倉(cāng)庫(kù)中的冷數(shù)據(jù)轉(zhuǎn)移存儲(chǔ)于一冷數(shù)據(jù)集群中；監(jiān)控所述數(shù)據(jù)倉(cāng)庫(kù)接收的查詢語(yǔ)句，將所述查詢語(yǔ)句中的表名稱及該表名稱對(duì)應(yīng)的表的數(shù)據(jù)分區(qū)范圍和所述數(shù)據(jù)倉(cāng)庫(kù)中相應(yīng)表的同一數(shù)據(jù)分區(qū)范圍進(jìn)行比對(duì)；根據(jù)比對(duì)結(jié)果，判斷所述查詢語(yǔ)句查詢的數(shù)據(jù)是否全部存儲(chǔ)于所述數(shù)據(jù)倉(cāng)庫(kù)中；當(dāng)所述查詢語(yǔ)句查詢的數(shù)據(jù)沒有全部位于所述數(shù)據(jù)倉(cāng)庫(kù)中時(shí)，將存儲(chǔ)于所述冷數(shù)據(jù)集群中的相應(yīng)表中的、沒有位于所述數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)分區(qū)范圍部分的冷數(shù)據(jù)自動(dòng)拉回所述數(shù)據(jù)倉(cāng)庫(kù)。本發(fā)明能夠提高冷數(shù)據(jù)存儲(chǔ)的靈活性，自動(dòng)控制冷數(shù)據(jù)集群與數(shù)據(jù)倉(cāng)庫(kù)之間的數(shù)據(jù)轉(zhuǎn)移。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)，尤其涉及一種數(shù)據(jù)處理方法及其系統(tǒng)。

背景技術(shù)

隨著互聯(lián)網(wǎng)及電商的快速發(fā)展、業(yè)務(wù)形式的多樣化以及人們對(duì)互聯(lián)網(wǎng)依賴程度的增加，企業(yè)數(shù)據(jù)倉(cāng)庫(kù)所承載的數(shù)據(jù)量呈現(xiàn)爆發(fā)式的增長(zhǎng)，海量數(shù)據(jù)的存儲(chǔ)、加工與查詢也給集群帶來(lái)了非常大的挑戰(zhàn)。

有些久遠(yuǎn)的數(shù)據(jù)并不會(huì)被經(jīng)常調(diào)用，但是又有可能偶爾用到，所以不能刪除這些數(shù)據(jù)，隨著時(shí)間的增長(zhǎng)，這樣的數(shù)據(jù)會(huì)越來(lái)越多，不僅存儲(chǔ)起來(lái)比較浪費(fèi)空間，如果使用不當(dāng)，還會(huì)大大降低查詢效率。如何有效地管理海量數(shù)據(jù)，成為集群管理者越來(lái)越重視的話題。

數(shù)據(jù)倉(cāng)庫(kù)中大部分事實(shí)表是按照一定的業(yè)務(wù)時(shí)間，進(jìn)行分區(qū)存儲(chǔ)。一樣的業(yè)務(wù)時(shí)間，存儲(chǔ)在同一個(gè)分區(qū)中，以dt表示分區(qū)。使用這些事實(shí)表的時(shí)候，只要知道自己需要的數(shù)據(jù)大概在什么分區(qū)中，就可以通過(guò)限定分區(qū)范圍來(lái)降低查詢范圍，提高查詢效率。因此，現(xiàn)有技術(shù)中，通過(guò)掃描數(shù)據(jù)倉(cāng)庫(kù)中的表每天被查詢的分區(qū)，一旦發(fā)現(xiàn)某分區(qū)的數(shù)據(jù)在一定時(shí)間內(nèi)沒有被查詢，那么，將該分區(qū)的數(shù)據(jù)轉(zhuǎn)移到冷數(shù)據(jù)集群，以節(jié)省集群資源，節(jié)省磁盤空間。

以用戶基本信息表gdm_m01_userinfo_basic_sum為例，該表以用戶注冊(cè)時(shí)間作為時(shí)間戳，將相同時(shí)間戳的數(shù)據(jù)放入對(duì)應(yīng)的分區(qū)，例如dt＝‘2016-03-08’分區(qū)中，存放注冊(cè)時(shí)間為2016年3月8日注冊(cè)的用戶的相關(guān)信息。隨著時(shí)間的積累，該表分區(qū)越來(lái)越多，并且很多歷史數(shù)據(jù)并不會(huì)經(jīng)常使用，當(dāng)自動(dòng)掃描程序掃描到dt＝‘2013-01-01’的分區(qū)在90天內(nèi)沒有訪問，那么，系統(tǒng)自動(dòng)將該分區(qū)轉(zhuǎn)移到冷數(shù)據(jù)集群，當(dāng)某一分區(qū)一旦被轉(zhuǎn)移到冷數(shù)據(jù)集群以后，再在數(shù)據(jù)倉(cāng)庫(kù)中查詢?cè)摲謪^(qū)的數(shù)據(jù)時(shí)，不會(huì)查到該數(shù)據(jù)。如果有需要用到已轉(zhuǎn)移到冷數(shù)據(jù)集群的數(shù)據(jù)，就需要提起冷數(shù)據(jù)恢復(fù)申請(qǐng)，等待專業(yè)的人員再將該數(shù)據(jù)轉(zhuǎn)移回來(lái)。

這樣，一旦數(shù)據(jù)被轉(zhuǎn)移到冷數(shù)據(jù)集群，在數(shù)據(jù)倉(cāng)庫(kù)中將查不到該數(shù)據(jù)，當(dāng)有用戶要查詢?cè)摂?shù)據(jù)時(shí)，查詢結(jié)果錯(cuò)誤。不了解冷數(shù)據(jù)拉取規(guī)則的，將會(huì)質(zhì)疑數(shù)據(jù)的完整性，導(dǎo)致用戶去查找數(shù)據(jù)異常的原因，原因找到以后，需要提交申請(qǐng)，將冷數(shù)據(jù)重新拉回，才能正常使用，極大的增加了工作量。

因此，需要一種新的數(shù)據(jù)處理方法及其系統(tǒng)。

在所述背景技術(shù)部分公開的上述信息僅用于加強(qiáng)對(duì)本發(fā)明的背景的理解，因此它可以包括不構(gòu)成對(duì)本領(lǐng)域普通技術(shù)人員已知的現(xiàn)有技術(shù)的信息。

發(fā)明內(nèi)容

本發(fā)明提供一種數(shù)據(jù)處理方法及其系統(tǒng)，能夠提高冷數(shù)據(jù)存儲(chǔ)的靈活性。

本發(fā)明的其他特性和優(yōu)點(diǎn)將通過(guò)下面的詳細(xì)描述變得顯然，或部分地通過(guò)本發(fā)明的實(shí)踐而習(xí)得。

根據(jù)本發(fā)明的一方面，提供一種數(shù)據(jù)處理方法，包括：將一數(shù)據(jù)倉(cāng)庫(kù)中的冷數(shù)據(jù)轉(zhuǎn)移存儲(chǔ)于一冷數(shù)據(jù)集群中；監(jiān)控所述數(shù)據(jù)倉(cāng)庫(kù)接收的查詢語(yǔ)句，將所述查詢語(yǔ)句中的表名稱及該表名稱對(duì)應(yīng)的表的數(shù)據(jù)分區(qū)范圍和所述數(shù)據(jù)倉(cāng)庫(kù)中相應(yīng)表的同一數(shù)據(jù)分區(qū)范圍進(jìn)行比對(duì)；根據(jù)比對(duì)結(jié)果，判斷所述查詢語(yǔ)句查詢的數(shù)據(jù)是否全部存儲(chǔ)于所述數(shù)據(jù)倉(cāng)庫(kù)中；當(dāng)所述查詢語(yǔ)句查詢的數(shù)據(jù)沒有全部位于所述數(shù)據(jù)倉(cāng)庫(kù)中時(shí)，將存儲(chǔ)于所述冷數(shù)據(jù)集群中的相應(yīng)表中的、沒有位于所述數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)分區(qū)范圍部分的冷數(shù)據(jù)自動(dòng)拉回所述數(shù)據(jù)倉(cāng)庫(kù)。