[發(fā)明專利]基于分區(qū)技術(shù)在大數(shù)據(jù)網(wǎng)優(yōu)平臺中快速分發(fā)數(shù)據(jù)的方法

有效

• 申請?zhí)枺?/td>: 201410034358.6
• 申請日: 2014-01-24
• 公開（公告）號: CN103810256B
• 公開（公告）日: 2017-09-26
• 發(fā)明（設(shè)計）人: 鄭繼東;胡志勇;陽許軍;楊然;孫欣;唐華;張勝
• 申請（專利權(quán)）人: 武漢虹翼信息有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京匯澤知識產(chǎn)權(quán)代理有限公司11228
• 代理人: 劉淑敏

技術(shù)領(lǐng)域

本發(fā)明涉及3G通信技術(shù)及數(shù)據(jù)庫技術(shù)，尤其涉及一種基于分區(qū)技術(shù)在大數(shù)據(jù)網(wǎng)優(yōu)平臺中快速分發(fā)數(shù)據(jù)的方法。

背景技術(shù)

隨著移動通信業(yè)務(wù)的飛速發(fā)展，移動通信網(wǎng)絡(luò)優(yōu)化的數(shù)量也越來越多。為了解決數(shù)據(jù)保存、性能優(yōu)化的問題，需要使用一套數(shù)據(jù)庫采集平臺存儲數(shù)據(jù)，多臺數(shù)據(jù)服務(wù)器進(jìn)行數(shù)據(jù)查詢的解決架構(gòu)。

目前，網(wǎng)優(yōu)數(shù)據(jù)轉(zhuǎn)移過程中存在數(shù)據(jù)查詢時間長、數(shù)據(jù)寫入慢，以及需要人力干預(yù)的不足。如何在多個數(shù)據(jù)庫服務(wù)器分發(fā)大量的數(shù)據(jù)，又不會對采信平臺生成較大的查詢壓力，也是一個當(dāng)前亟待解決的問題。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的主要目的在于提供一種基于分區(qū)技術(shù)在大數(shù)據(jù)網(wǎng)優(yōu)平臺中快速分發(fā)數(shù)據(jù)的方法，對數(shù)據(jù)導(dǎo)入、數(shù)據(jù)處理、數(shù)據(jù)運算、數(shù)據(jù)歸檔等過程進(jìn)行改進(jìn)，以解決現(xiàn)有網(wǎng)優(yōu)數(shù)據(jù)轉(zhuǎn)移過程中存在的數(shù)據(jù)查詢時間長、數(shù)據(jù)寫入慢，以及需要人力干預(yù)的不足。

為達(dá)到上述目的，本發(fā)明的技術(shù)方案是這樣實現(xiàn)的：

基于分區(qū)技術(shù)在大數(shù)據(jù)網(wǎng)優(yōu)平臺中快速分發(fā)數(shù)據(jù)的方法，該方法包括：

A、轉(zhuǎn)移數(shù)據(jù)分區(qū)計算的步驟；

B、生成轉(zhuǎn)移對象分區(qū)的步驟；

C、進(jìn)行分區(qū)過濾的步驟；

D、遠(yuǎn)程導(dǎo)出數(shù)據(jù)的步驟；

E、并行SQLLDR數(shù)據(jù)導(dǎo)入的步驟。

其中，步驟A所述轉(zhuǎn)移數(shù)據(jù)分區(qū)計算的步驟，是指根據(jù)轉(zhuǎn)移數(shù)據(jù)的時間范圍，通過數(shù)據(jù)庫操作，找出需要轉(zhuǎn)移數(shù)據(jù)所在的分區(qū)。

步驟B所述生成轉(zhuǎn)移對象分區(qū)的步驟，具體為：將步驟A所述的分區(qū)轉(zhuǎn)換為Linux Shell能處理的對象。

步驟B進(jìn)一步包括實現(xiàn)數(shù)據(jù)轉(zhuǎn)換分區(qū)的計算方法，具體為：

B1、在分發(fā)數(shù)據(jù)時，根據(jù)數(shù)據(jù)的時間值進(jìn)行提取；在進(jìn)行數(shù)據(jù)創(chuàng)建時，將數(shù)據(jù)按照時間進(jìn)行嚴(yán)格的分段，不同時間的數(shù)據(jù)存儲于不同的對象分區(qū)中；

B2、在轉(zhuǎn)換數(shù)據(jù)時，輸入需要分發(fā)數(shù)據(jù)的時間段，根據(jù)需要轉(zhuǎn)換數(shù)據(jù)的時間，在數(shù)據(jù)分區(qū)中按照時間范圍進(jìn)行匹配，直到得到要轉(zhuǎn)換的分區(qū)對象；

B3、將分區(qū)對象同已經(jīng)完成分發(fā)數(shù)據(jù)進(jìn)行比較，找出目前還沒有分發(fā)的數(shù)據(jù)，交由后續(xù)分發(fā)進(jìn)程進(jìn)行處理。

步驟C所述進(jìn)行分區(qū)過濾的步驟，具體為：根據(jù)目標(biāo)數(shù)據(jù)庫已經(jīng)存在的數(shù)據(jù)，對需要轉(zhuǎn)換的分區(qū)對象進(jìn)行過濾，查詢出實際需要轉(zhuǎn)換的對象。

步驟D所述遠(yuǎn)程導(dǎo)出數(shù)據(jù)的步驟，具體為：采用數(shù)據(jù)導(dǎo)出工具OCIULDR將分區(qū)所在的數(shù)據(jù)導(dǎo)出。

步驟E所述并行SQLLDR數(shù)據(jù)導(dǎo)入的步驟，具體為：利用數(shù)據(jù)庫工具將步驟D所述導(dǎo)出的數(shù)據(jù)導(dǎo)入目標(biāo)數(shù)據(jù)庫。

本發(fā)明所提供的基于分區(qū)技術(shù)在大數(shù)據(jù)網(wǎng)優(yōu)平臺中快速分發(fā)數(shù)據(jù)的方法，具有以下優(yōu)點：

本發(fā)明針對網(wǎng)優(yōu)數(shù)據(jù)轉(zhuǎn)移過程中存在的問題，根據(jù)采集數(shù)據(jù)的分布情況，結(jié)合快速數(shù)據(jù)庫導(dǎo)出、導(dǎo)入工作，能夠快速實現(xiàn)數(shù)據(jù)的轉(zhuǎn)移，且整個過程自動化，比一般的SQL語句提高約90%的速度。

附圖說明

圖1為本發(fā)明基于分區(qū)技術(shù)在大數(shù)據(jù)網(wǎng)優(yōu)平臺中快速分發(fā)數(shù)據(jù)的過程示意圖；

圖2為圖1中轉(zhuǎn)移數(shù)據(jù)分區(qū)計算的一個具體實施過程；

圖3為圖1中進(jìn)行分區(qū)過濾的一個具體實施例；

圖4為圖1中利用該OCIULDR管理工具將數(shù)據(jù)導(dǎo)入目標(biāo)數(shù)據(jù)庫的一個具體實施例；

圖5為圖1中利用SQLLDR進(jìn)行數(shù)據(jù)導(dǎo)入的過程實施例。

具體實施方式

下面結(jié)合附圖及本發(fā)明的實施例對本發(fā)明在大數(shù)據(jù)網(wǎng)優(yōu)平臺中快速分發(fā)數(shù)據(jù)的方法作進(jìn)一步詳細(xì)的說明。

本發(fā)明涉及大數(shù)據(jù)網(wǎng)優(yōu)平臺中使用分區(qū)、快速在多數(shù)據(jù)庫中分發(fā)數(shù)據(jù)的方法，根據(jù)數(shù)據(jù)分布，每類數(shù)據(jù)在傳輸時，按照ORACLE的管理最小單元：分區(qū)進(jìn)行轉(zhuǎn)移，減少對數(shù)據(jù)的壓力。其中數(shù)據(jù)導(dǎo)出步驟中，使用專業(yè)的OCIULDR工具，能夠比SQL查詢提取的方式速度提高10倍左右。

圖1為本發(fā)明基于分區(qū)技術(shù)在大數(shù)據(jù)網(wǎng)優(yōu)平臺中快速分發(fā)數(shù)據(jù)的過程示意圖。如圖1所示，該過程主要包括如下步驟：

步驟11：轉(zhuǎn)移數(shù)據(jù)分區(qū)計算的步驟。所述轉(zhuǎn)移數(shù)據(jù)分區(qū)計算，是指根據(jù)轉(zhuǎn)移數(shù)據(jù)的時間范圍，通過數(shù)據(jù)庫操作，找出需要轉(zhuǎn)移數(shù)據(jù)所在的分區(qū)。

如圖2所示為轉(zhuǎn)移數(shù)據(jù)分區(qū)計算的一個具體實施過程，該過程包括：

步驟111：指定數(shù)據(jù)轉(zhuǎn)移的時間范圍為：20130101～20130201。

步驟112：從數(shù)據(jù)庫分區(qū)對象表中，提取分區(qū)。

步驟113：從數(shù)據(jù)庫分區(qū)對象表中，查詢分區(qū)日期范圍為：20130101～20130201。