[發(fā)明專利]一種數(shù)據(jù)源變更預(yù)警方法

有效

• 申請?zhí)枺?/td>: 201310407124.7
• 申請日: 2013-09-09
• 公開（公告）號: CN103500179A
• 公開（公告）日: 2014-01-08
• 發(fā)明（設(shè)計）人: 劉鴻寧;陳建;陳順德;洪建光;江櫻;沈瀟軍
• 申請（專利權(quán)）人: 國家電網(wǎng)公司;國網(wǎng)浙江省電力公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 杭州華鼎知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 33217
• 代理人: 胡根良

技術(shù)領(lǐng)域

本發(fā)明涉及通信技術(shù)領(lǐng)域，特別涉及一種數(shù)據(jù)源變更預(yù)警方法。

背景技術(shù)

數(shù)據(jù)倉庫是數(shù)據(jù)中心的重要組成部分，通過對業(yè)務(wù)數(shù)據(jù)的抽取、清洗、轉(zhuǎn)換、加載、存儲，構(gòu)建統(tǒng)一的數(shù)據(jù)集市和數(shù)據(jù)倉庫，實現(xiàn)對數(shù)據(jù)的深度挖掘和報表展現(xiàn)。數(shù)據(jù)源是指業(yè)務(wù)源系統(tǒng)（簡稱源系統(tǒng)）中向數(shù)據(jù)倉庫提供業(yè)務(wù)數(shù)據(jù)的技術(shù)對象。數(shù)據(jù)倉庫系統(tǒng)通過數(shù)據(jù)源來抽取源系統(tǒng)中的業(yè)務(wù)數(shù)據(jù)。當(dāng)數(shù)據(jù)倉庫系統(tǒng)面對眾多業(yè)務(wù)信息系統(tǒng)，面對海量數(shù)據(jù)的接入時，往往是用戶反映數(shù)據(jù)問題或數(shù)據(jù)抽取發(fā)生錯誤后，數(shù)據(jù)倉庫系統(tǒng)才知道業(yè)務(wù)源系統(tǒng)已發(fā)生了變化，這時已經(jīng)影響到一些應(yīng)用系統(tǒng)的數(shù)據(jù)展示，能否及時發(fā)現(xiàn)數(shù)據(jù)源變更，并能夠有效處理變更，直接關(guān)系到數(shù)據(jù)抽取的準(zhǔn)確性、完整性和及時性，這樣就迫切需要一種完整高效的數(shù)據(jù)源變更預(yù)警方法，為數(shù)據(jù)倉庫系統(tǒng)數(shù)據(jù)的準(zhǔn)確性、完整性和及時性提供支持，防止因數(shù)據(jù)源變更對數(shù)據(jù)倉庫數(shù)據(jù)造成的各種不良影響。

現(xiàn)有技術(shù)中的一種數(shù)據(jù)源變更預(yù)警方法是:操作人員在指定的時間點向源系統(tǒng)發(fā)出預(yù)警命令，獲取源系統(tǒng)數(shù)據(jù)，將源系統(tǒng)數(shù)據(jù)與查詢結(jié)果數(shù)據(jù)與自身數(shù)據(jù)一一比對，對變更的數(shù)據(jù)發(fā)出預(yù)警信號；其不足在于：每次預(yù)警需要人工操作，工作量大；而且操作人員不在身邊的時候，無法操作；這種方式一般數(shù)據(jù)預(yù)警比較延后，往往源系統(tǒng)數(shù)據(jù)源變動后較長一段時間，系統(tǒng)才預(yù)警。

現(xiàn)有技術(shù)中的另一種數(shù)據(jù)源變更預(yù)警方法是:實時獲取源系統(tǒng)數(shù)據(jù)，將源系統(tǒng)數(shù)據(jù)與查詢結(jié)果數(shù)據(jù)與自身數(shù)據(jù)一一比對，對變更的數(shù)據(jù)發(fā)出預(yù)警信號；其不足在于：數(shù)據(jù)流量過大，占用帶寬太多，影響系統(tǒng)其它數(shù)據(jù)的正常傳輸，同時還會降低系統(tǒng)性能。

發(fā)明內(nèi)容

本發(fā)明目的解決現(xiàn)有技術(shù)存在的問題，提供一種數(shù)據(jù)源預(yù)警及時又不會過多占用流量或影響系統(tǒng)性能的數(shù)據(jù)源變更預(yù)警方法。

為了實現(xiàn)所述目的，本發(fā)明一種數(shù)據(jù)源變更預(yù)警方法，包括如下步驟：

步驟1、設(shè)置預(yù)警周期模式，在每個周期的開始獲取數(shù)據(jù)源對比時間；

步驟2、判斷是否是第一次數(shù)據(jù)源變更預(yù)警，如果是則對比時間設(shè)為本次預(yù)警開始時間減去24小時，否則對比時間設(shè)為上一次預(yù)警的開始時間；

步驟3、獲取源系統(tǒng)數(shù)據(jù)源變更日志，讀取數(shù)據(jù)源的變更時間；

步驟4、比較對比時間與數(shù)據(jù)源變更時間，如果變更時間在前，則進入步驟5，否則，進入步驟6；

步驟5、判斷是否是最后一個數(shù)據(jù)源，如果是，數(shù)據(jù)源變更預(yù)警完成，否則，獲取下一個數(shù)據(jù)源的變更時間，并進入步驟4；

步驟6、對上一步驟中的數(shù)據(jù)源預(yù)警，并進入步驟5。

為了實現(xiàn)所述目的，本發(fā)明另一種數(shù)據(jù)源變更預(yù)警方法，包括如下步驟：

步驟1、設(shè)置預(yù)警周期模式，在每個周期的開始獲取數(shù)據(jù)源對比時間；

步驟2、判斷是否是第一次數(shù)據(jù)源變更預(yù)警，如果是則對比時間設(shè)為本次預(yù)警開始時間減去24小時，否則對比時間設(shè)為上一次預(yù)警的開始時間；

步驟3、獲取源系統(tǒng)數(shù)據(jù)源變更日志，對日志內(nèi)容按時間順序排列，獲取小于對比時間中最接近對比時間的數(shù)據(jù)源變更時間，對所述數(shù)據(jù)源變更時間之后的所有數(shù)據(jù)源預(yù)警。

優(yōu)選的，所述數(shù)據(jù)源預(yù)警方式為通過數(shù)據(jù)表格將源系統(tǒng)數(shù)據(jù)源的數(shù)據(jù)名稱、變更方式、變更內(nèi)容、變更時間及數(shù)據(jù)倉庫系統(tǒng)中對應(yīng)的數(shù)據(jù)源變更時間記錄在同一行表格中，并顯示。

優(yōu)選的，監(jiān)視所有正在預(yù)警的數(shù)據(jù)源所對應(yīng)的數(shù)據(jù)倉庫中的數(shù)據(jù)源的變更時間，當(dāng)數(shù)據(jù)倉庫中的數(shù)據(jù)變更時間大于源系統(tǒng)的數(shù)據(jù)源變更時間時，解除數(shù)據(jù)源預(yù)警，并將信息反饋給源系統(tǒng)。

當(dāng)數(shù)據(jù)倉庫的數(shù)據(jù)源執(zhí)行修改操作時，可能會出現(xiàn)系統(tǒng)等原因引起的數(shù)據(jù)修改未成功的情況，通過數(shù)據(jù)倉庫中的數(shù)據(jù)變更時間對比源系統(tǒng)的數(shù)據(jù)源變更時間來判斷數(shù)據(jù)源中的數(shù)據(jù)源是否更改成功，這樣在出現(xiàn)上述情況時繼續(xù)預(yù)警，提醒用戶修改未成功；而同過數(shù)據(jù)反饋，可以通知源系統(tǒng)操作人員數(shù)據(jù)倉庫中的數(shù)據(jù)已響應(yīng)更改，源系統(tǒng)操作人員如果遲遲未收到反饋，可與數(shù)據(jù)倉庫管理人員聯(lián)系，手動更新數(shù)據(jù)并查找原因，提高數(shù)據(jù)倉庫系統(tǒng)數(shù)據(jù)的準(zhǔn)確性。

優(yōu)選的，所述步驟1中的周期模式包括半固定周期模式，所述半固定周期模式為：

預(yù)警周期自動設(shè)定為1天，計算數(shù)據(jù)源變更預(yù)警平均反應(yīng)時間

數(shù)據(jù)源變更預(yù)警平均反應(yīng)時間=∑（數(shù)據(jù)源預(yù)警時間–數(shù)據(jù)源最后更變時間）/數(shù)據(jù)源預(yù)警個數(shù)；

計算每個時間點的數(shù)據(jù)源變更預(yù)警平均反應(yīng)時間，并對其排序，選擇最小的時間點X為預(yù)警周期的開始時間。