[發(fā)明專利]一種基于增量日志的數(shù)據(jù)組合視圖實時更新方法

在審

• 申請?zhí)枺?/td>: 201811087121.9
• 申請日: 2018-09-17
• 公開（公告）號: CN109145049A
• 公開（公告）日: 2019-01-04
• 發(fā)明（設(shè)計）人: 張元鳴;黃浪游;高天宇;肖剛;陸佳煒;高飛
• 申請（專利權(quán)）人: 浙江工業(yè)大學(xué)
• 主分類號: G06F16/26
• 分類號: G06F16/26
• 代理公司: 杭州天正專利事務(wù)所有限公司 33201
• 代理人: 王兵;黃美娟

一種基于增量日志的數(shù)據(jù)組合視圖實時更新方法。首先，將分布式異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)集封裝為數(shù)據(jù)服務(wù)，這些數(shù)據(jù)服務(wù)封裝了對分布式異構(gòu)數(shù)據(jù)訪問的接口；其次，根據(jù)用戶的數(shù)據(jù)需求，選取并組合平臺中已經(jīng)注冊的原子數(shù)據(jù)服務(wù)，組合生成復(fù)合數(shù)據(jù)服務(wù)；再次，執(zhí)行復(fù)合數(shù)據(jù)服務(wù)里得到數(shù)據(jù)組合視圖，并將數(shù)據(jù)組合視圖中的數(shù)據(jù)進(jìn)行緩存；最后，通過解析數(shù)據(jù)源的增量日志，實時更新視圖的緩存數(shù)據(jù)。本發(fā)明為基于數(shù)據(jù)服務(wù)的數(shù)據(jù)集成提供了一種有效的數(shù)據(jù)組合視圖實時更新方法，保證了數(shù)據(jù)的新鮮度。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于增量日志的數(shù)據(jù)組合視圖實時更新方法。

背景技術(shù)

信息技術(shù)在互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、移動計算等領(lǐng)域的深入應(yīng)用和廣泛普及使得幾乎每個人、每臺設(shè)備都成為了數(shù)據(jù)的生產(chǎn)者，數(shù)據(jù)類型和數(shù)據(jù)規(guī)模正以前所未有的速度增長。這些數(shù)據(jù)往往采用大量不同類型的數(shù)據(jù)存儲，具有跨企業(yè)、異構(gòu)、自治等主要特點。利用數(shù)據(jù)服務(wù)化技術(shù)，將分布式異構(gòu)數(shù)據(jù)源轉(zhuǎn)換為數(shù)據(jù)服務(wù)，然后通過服務(wù)組合技術(shù)將數(shù)據(jù)服務(wù)集組織為具有全局?jǐn)?shù)據(jù)特征的數(shù)據(jù)統(tǒng)一模型，從而有效地集成和管理分布式異構(gòu)數(shù)據(jù)源。將各個異構(gòu)數(shù)據(jù)源模型信息集成到一個中心服務(wù)器，以一個統(tǒng)一的虛擬視圖提供給用戶，實際數(shù)據(jù)依然保存在各個數(shù)據(jù)源系統(tǒng)中，實現(xiàn)跨域數(shù)據(jù)的虛擬集成。

虛擬視圖會對數(shù)據(jù)進(jìn)行緩存，以提高數(shù)據(jù)訪問的效率。然而，當(dāng)異構(gòu)數(shù)據(jù)源自身數(shù)據(jù)發(fā)生變化的時候，會造成數(shù)據(jù)源與虛擬視圖之間的數(shù)據(jù)不一致性問題。實際上，每個數(shù)據(jù)庫系統(tǒng)的日志文件保存了對數(shù)據(jù)庫的各種操作，例如數(shù)據(jù)的修改、刪除等，用來維護(hù)數(shù)據(jù)的完整性以及恢復(fù)數(shù)據(jù)庫。這些日志文件使用專門的方法或工具來讀取，例如DB2數(shù)據(jù)庫的日志讀取函數(shù)db2Readlog、SQL Server數(shù)據(jù)庫的DBCC命令dbcc log、Oracle公司的分析工具LogMiner等。通過解析日志文件，提取數(shù)據(jù)操作的事務(wù)，獲得數(shù)據(jù)的增量變化。然后根據(jù)變更的類型和內(nèi)容，實時定位到緩存中受影響的視圖數(shù)據(jù)并進(jìn)行更新。

在數(shù)據(jù)服務(wù)組合與數(shù)據(jù)視圖生成方面，Liu等(International Conference onInformation Science&Applications，2014)描述了現(xiàn)代企業(yè)信息系統(tǒng)的高級數(shù)據(jù)服務(wù)架構(gòu)，這種架構(gòu)解決了兩個主要問題：數(shù)據(jù)的語義集成和數(shù)據(jù)服務(wù)器的適應(yīng)性問題，目標(biāo)是支持各種企業(yè)信息系統(tǒng)，通過數(shù)據(jù)服務(wù)組合獲取數(shù)據(jù)和共享數(shù)據(jù)。對于各種異構(gòu)數(shù)據(jù)資源(關(guān)系型數(shù)據(jù)庫、XML文件、Web服務(wù)、OLAP)，內(nèi)部模型通過語義映射和數(shù)據(jù)視圖來描述業(yè)務(wù)與數(shù)據(jù)之間的關(guān)系，并通過業(yè)務(wù)術(shù)語在語義級別呈現(xiàn)數(shù)據(jù)，實現(xiàn)異構(gòu)數(shù)據(jù)集成；徐學(xué)輝(山東科技大學(xué),2012)通過分析數(shù)據(jù)服務(wù)組合的環(huán)境以及數(shù)據(jù)服務(wù)建模的流程，提出了以用戶為中心的數(shù)據(jù)服務(wù)組合方法，以此為基礎(chǔ)由業(yè)務(wù)用戶實現(xiàn)數(shù)據(jù)視圖的構(gòu)建；溫彥等(計算機(jī)科學(xué)與探索，2012)提出了跨組織業(yè)務(wù)數(shù)據(jù)視圖的動態(tài)生成方法iViewer，將數(shù)據(jù)視圖的構(gòu)建過程轉(zhuǎn)化為通過組合操作可視化和易用的數(shù)據(jù)服務(wù)來實現(xiàn)；Gu等(IEEE Transactions onServices Computing,2010)提出了服務(wù)數(shù)據(jù)鏈接模型，將數(shù)據(jù)服務(wù)的輸入和輸出屬性之間的數(shù)據(jù)映射關(guān)系進(jìn)行了描述，實現(xiàn)了數(shù)據(jù)驅(qū)動在自動服務(wù)組合領(lǐng)域的應(yīng)用；Amdouni等(IEEE International Conference on Services Computing，2014)提出了一種用于對不確定數(shù)據(jù)服務(wù)建模的概率方法，計算組合輸出概率的組合代數(shù)，并提出了一種算法來找到組合的正確執(zhí)行計劃。

在數(shù)據(jù)服務(wù)視圖更新及優(yōu)化方面，張鵬等(計算機(jī)學(xué)報，2013)給出了嵌套視圖的概念，為嵌套視圖中的元組定義指針實現(xiàn)對任意層次數(shù)據(jù)服務(wù)的調(diào)用，并借鑒關(guān)系代數(shù)中的基本操作，對復(fù)合數(shù)據(jù)服務(wù)組成操作進(jìn)行定義，提出了一種基于數(shù)據(jù)服務(wù)的動態(tài)更新嵌套視圖的方法，同時通過記錄數(shù)據(jù)服務(wù)更新的日志以及在該日志上的嵌套視圖增量更新算法，提高了嵌套視圖的數(shù)據(jù)新鮮度；此外，張鵬等(計算機(jī)學(xué)報，2011)還對數(shù)據(jù)組合視圖的優(yōu)化更新方法進(jìn)行了研究，通過數(shù)據(jù)緩存的方法減少數(shù)據(jù)視圖更新的時間。

發(fā)明內(nèi)容