[發(fā)明專利]一種歷史數(shù)據(jù)新增方法

在審

• 申請?zhí)枺?/td>: 201510430543.1
• 申請日: 2015-07-21
• 公開（公告）號: CN105045881A
• 公開（公告）日: 2015-11-11
• 發(fā)明（設(shè)計(jì)）人: 吳衛(wèi)軍;范磊
• 申請（專利權(quán)）人: 上海融甸信息科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 上海科盛知識產(chǎn)權(quán)代理有限公司 31225
• 代理人: 翁惠瑜

技術(shù)領(lǐng)域

本發(fā)明涉及一種數(shù)據(jù)處理方法，尤其是涉及一種歷史數(shù)據(jù)新增方法。

背景技術(shù)

對于業(yè)務(wù)系統(tǒng)中狀態(tài)類信息，一般只記錄最新信息。當(dāng)分析需要關(guān)注這些信息的歷史時(shí)點(diǎn)信息時(shí)，直接同步業(yè)務(wù)系統(tǒng)中數(shù)據(jù)就不夠了。

業(yè)務(wù)系統(tǒng)無法在每次發(fā)生的增刪改時(shí)記錄原始信息和最新信息；分析系統(tǒng)雖難以獲實(shí)時(shí)的增刪改的信息，但在每天同步一次情況下，將每天的全量數(shù)據(jù)加上開始時(shí)間(數(shù)據(jù)日期)作為增量加載，就可以獲得每個(gè)時(shí)點(diǎn)(每天)的信息，但為這種方式數(shù)據(jù)冗余度驚人，據(jù)測算，一般每天只有不到10％的數(shù)據(jù)發(fā)生變化，90％的數(shù)據(jù)冗余。

將每天與前一天的重復(fù)數(shù)據(jù)刪除后加上開始時(shí)間作為增量加載，在信息完整性上可以達(dá)到要求，但在需要獲得特定時(shí)點(diǎn)的記錄時(shí)需要比較按時(shí)間排序的前后兩條記錄，大大加劇了查詢負(fù)擔(dān)。在實(shí)際分析系統(tǒng)使用中不可行，一般只作為數(shù)據(jù)存儲和分發(fā)使用。

因此在實(shí)際使用時(shí)需增加開始時(shí)間、結(jié)束時(shí)間和加載類型，才能兼顧數(shù)據(jù)存儲容量和數(shù)據(jù)查詢的性能，而更新前一天數(shù)據(jù)的結(jié)束時(shí)間就成為數(shù)據(jù)歷史實(shí)現(xiàn)方法的性能瓶頸。

現(xiàn)有的數(shù)據(jù)歷史基本實(shí)現(xiàn)方法通常為：通過比較前后兩天的全量數(shù)據(jù)可以獲得新一天的增刪改數(shù)據(jù)，將這些增量數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫后，利用主鍵相等更新前一天的結(jié)束時(shí)間為當(dāng)天數(shù)據(jù)日期的前一天(稱這個(gè)過程為關(guān)時(shí)間窗口)。這個(gè)過程在可以同一張表內(nèi)，使用Update技術(shù)完成。但在數(shù)據(jù)庫中使用Update技術(shù)，變化量達(dá)到幾百萬量級時(shí)生成的日志量將嚴(yán)重影響系統(tǒng)性能，達(dá)到10小時(shí)以上，在3500萬當(dāng)前記錄，2000萬變動記錄的極端情況，需要40小時(shí)處理。

發(fā)明內(nèi)容

本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種高效的歷史數(shù)據(jù)新增方法。

本發(fā)明的目的可以通過以下技術(shù)方案來實(shí)現(xiàn)：

一種歷史數(shù)據(jù)新增方法，該方法以天為單位進(jìn)行歷史數(shù)據(jù)的新增，包括以下步驟：

1)獲取歷史數(shù)據(jù)區(qū)中的第一當(dāng)前數(shù)據(jù)和第一歷史數(shù)據(jù)，所述第一當(dāng)前數(shù)據(jù)為數(shù)據(jù)存儲上無結(jié)束時(shí)間的數(shù)據(jù)，所述第一歷史數(shù)據(jù)為數(shù)據(jù)存儲上有結(jié)束時(shí)間的數(shù)據(jù)；

2)對第一當(dāng)前數(shù)據(jù)進(jìn)行備份；

3)獲取當(dāng)天的新數(shù)據(jù)，將所述新數(shù)據(jù)與第一當(dāng)前數(shù)據(jù)進(jìn)行比對，獲取當(dāng)天的第二當(dāng)前數(shù)據(jù)和第二歷史數(shù)據(jù)；

4)將所述第二當(dāng)前數(shù)據(jù)與第一當(dāng)前數(shù)據(jù)作整體切換，同時(shí)將所述第二歷史數(shù)據(jù)以增量方式合并至第一歷史數(shù)據(jù)中；

5)返回步驟2)，開始新一天的數(shù)據(jù)處理。

所述結(jié)束時(shí)間通過C程序模擬SQL實(shí)現(xiàn)的算法獲取。

所述步驟3)中，將所述新數(shù)據(jù)與第一當(dāng)前數(shù)據(jù)進(jìn)行比對時(shí)，按主關(guān)鍵字和整行方式進(jìn)行比較。

所述步驟3)中，將所述新數(shù)據(jù)與第一當(dāng)前數(shù)據(jù)進(jìn)行比對具體為：

301)根據(jù)所述新數(shù)據(jù)、主關(guān)鍵詞的主關(guān)鍵字和整行生成相應(yīng)的md5文件；

302)將md5文件進(jìn)行比對，獲得相應(yīng)的比對結(jié)果文件；

303)對所述比對結(jié)果文件添加相應(yīng)的參數(shù)，生成第二當(dāng)前數(shù)據(jù)和第二歷史數(shù)據(jù)。

所述比對結(jié)果文件包括新增文件、刪除文件、原有修改文件和原有文件。

所述參數(shù)包括開始時(shí)間、結(jié)束時(shí)間和裝載類型。

與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)：

1)本發(fā)明取消了Update方式，改為無日志的全刪、全增替換方式，效率高；

2)本發(fā)明根據(jù)數(shù)據(jù)歷史的特點(diǎn)，將整個(gè)歷史數(shù)據(jù)區(qū)分為當(dāng)前數(shù)據(jù)和歷史數(shù)據(jù)，作為兩個(gè)分區(qū)存儲，這樣可以方便地對當(dāng)前數(shù)據(jù)作整體替換同時(shí)對歷史數(shù)據(jù)作添加處理；

3)由于本發(fā)明中數(shù)據(jù)比對只涉及前后相鄰的兩天數(shù)據(jù)，因此用專用的C程序處理生成數(shù)據(jù)當(dāng)天的當(dāng)前數(shù)據(jù)和歷史數(shù)據(jù)，比用通用的SQL算法有高的處理效率，而且可以使數(shù)據(jù)處理的服務(wù)器獨(dú)立于數(shù)據(jù)庫，不與數(shù)據(jù)使用在硬件資源上沖突，處理的數(shù)據(jù)量單文件達(dá)到3億行，涵蓋了目前已有的業(yè)務(wù)數(shù)據(jù)量。

4)鑒于主關(guān)鍵字和整行的長度在原始數(shù)據(jù)中是不等長的，本發(fā)明統(tǒng)一轉(zhuǎn)換成md5碼定長格式后再進(jìn)行比對，提高了比對效率，數(shù)據(jù)歷史關(guān)心的是相同主鍵數(shù)據(jù)的變化，只關(guān)注是否相同，不關(guān)注大小，而md5碼正好符合這個(gè)需求。

附圖說明

圖1為本發(fā)明比對過程的流程示意圖；

圖2為本發(fā)明比對后產(chǎn)生的文件示意圖。

具體實(shí)施方式

下面結(jié)合附圖和具體實(shí)施例對本發(fā)明進(jìn)行詳細(xì)說明。本實(shí)施例以本發(fā)明技術(shù)方案為前提進(jìn)行實(shí)施，給出了詳細(xì)的實(shí)施方式和具體的操作過程，但本發(fā)明的保護(hù)范圍不限于下述的實(shí)施例。