[發(fā)明專利]數(shù)據(jù)同步方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201911070488.4
• 申請(qǐng)日: 2019-11-05
• 公開（公告）號(hào): CN110955722B
• 公開（公告）日: 2023-02-07
• 發(fā)明（設(shè)計(jì)）人: 羅煉;焦瑤前;劉小琨
• 申請(qǐng)（專利權(quán)）人: 北京天元?jiǎng)?chuàng)新科技有限公司
• 主分類號(hào): G06F16/27
• 分類號(hào): G06F16/27;G06F16/25;G06F16/23;G06F16/21;G06F16/957
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 王宇楊

本發(fā)明實(shí)施例提供一種數(shù)據(jù)同步方法及裝置，方法包括：WEB應(yīng)用與位于服務(wù)器端的服務(wù)之間建立連接通道；所述連接通道包括用于數(shù)據(jù)清洗與轉(zhuǎn)換的應(yīng)用；查詢數(shù)據(jù)的更新情況；在數(shù)據(jù)發(fā)生更新后，從數(shù)據(jù)庫(kù)讀取更新后的數(shù)據(jù)，通過所述連接通道中的用于數(shù)據(jù)清洗與轉(zhuǎn)換的應(yīng)用對(duì)更新后的數(shù)據(jù)做數(shù)據(jù)清洗與轉(zhuǎn)換，然后通過所述連接通道傳輸給所述WEB應(yīng)用。本發(fā)明實(shí)施例提供的數(shù)據(jù)同步方法及裝置通過WebFlux建立連接通道，連接通道中包括有采用JAVA腳本或Groovy腳本實(shí)現(xiàn)的應(yīng)用，使得它無需依賴redis緩存和消息服務(wù)器，就可實(shí)現(xiàn)對(duì)數(shù)據(jù)的實(shí)時(shí)同步，且當(dāng)數(shù)據(jù)沒有變化時(shí)，無需推送數(shù)據(jù)，節(jié)省了數(shù)據(jù)庫(kù)的性能消耗。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)庫(kù)技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)同步方法及裝置。

背景技術(shù)

隨著近年來云計(jì)算和大數(shù)據(jù)領(lǐng)域日新月異的發(fā)展，人們對(duì)各行各業(yè)產(chǎn)生的海量數(shù)據(jù)經(jīng)過大數(shù)據(jù)技術(shù)處理后，實(shí)時(shí)同步給客戶端以便可視化分析的需求飛速增長(zhǎng)。但由于目前大數(shù)據(jù)處理后的數(shù)據(jù)存儲(chǔ)在HBase、ElasticSearch、mongoDB等索引數(shù)據(jù)庫(kù)中，這樣的數(shù)據(jù)只能按照某一特定格式存儲(chǔ)。而如今的可視化數(shù)據(jù)分析的對(duì)象要求能夠運(yùn)用計(jì)算機(jī)圖形學(xué)和圖像處理技術(shù)，以靈活多變的圖表形式動(dòng)態(tài)化、立體化的呈現(xiàn)，這就需要在抽取數(shù)據(jù)的同時(shí)對(duì)數(shù)據(jù)進(jìn)行清洗和轉(zhuǎn)換，同時(shí)保證數(shù)據(jù)的實(shí)時(shí)性，以便及時(shí)同步到WEB頁(yè)面做可視化分析。

現(xiàn)有技術(shù)中存在一些將數(shù)據(jù)庫(kù)中的數(shù)據(jù)同步到客戶端的技術(shù)，這些技術(shù)各自存在一些不足。對(duì)這些現(xiàn)有技術(shù)描述如下。

1、使用數(shù)據(jù)抽取工具二次開發(fā)或配置定制的WEB接口，然后在WEB客戶端使用JS定時(shí)器定時(shí)調(diào)用接口刷新頁(yè)面。在這種方式下，即使沒有數(shù)據(jù)更新，JS也會(huì)不停的刷新頁(yè)面造成不必要的資源浪費(fèi)，尤其在數(shù)據(jù)抽取和轉(zhuǎn)換需要執(zhí)行復(fù)雜SQL時(shí)，數(shù)據(jù)庫(kù)的性能將受到影響。如果使用Redis緩存解決查詢性能問題，就會(huì)引出數(shù)據(jù)庫(kù)與緩存同步D問題，使開發(fā)、維護(hù)、部署增加復(fù)雜度。

2、使用消息服務(wù)器同步可視化數(shù)據(jù)。此方式需要依賴消息服務(wù)器，針對(duì)WEB不同模塊展示的內(nèi)容需要對(duì)接收到的消息做判斷，更新到相應(yīng)的模塊，這樣會(huì)增加WEB展示層對(duì)后臺(tái)邏輯的耦合以及前后端的復(fù)雜度。其次，WEB端通過消息獲取數(shù)據(jù)，如果長(zhǎng)時(shí)間不刷新數(shù)據(jù)庫(kù)容易造成前后端數(shù)據(jù)不一致。再次，使用消息服務(wù)器時(shí)服務(wù)器端通常會(huì)推送全量的數(shù)據(jù)，讓客戶端端過濾，如果同時(shí)有多個(gè)可視化頁(yè)面顯示不同的內(nèi)容，則服務(wù)器端服務(wù)不能針對(duì)每個(gè)可視化頁(yè)面單獨(dú)推送不同的內(nèi)容。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種數(shù)據(jù)同步方法及裝置，用以解決現(xiàn)有技術(shù)中需依賴redis緩存或消息服務(wù)器的缺陷，實(shí)現(xiàn)快速、低耗的數(shù)據(jù)同步。

第一方面，本發(fā)明實(shí)施例提供一種數(shù)據(jù)同步方法，包括：

WEB應(yīng)用與位于服務(wù)器端的服務(wù)之間建立連接通道；所述連接通道包括用于數(shù)據(jù)清洗與轉(zhuǎn)換的應(yīng)用；

查詢數(shù)據(jù)的更新情況；

在數(shù)據(jù)發(fā)生更新后，從數(shù)據(jù)庫(kù)讀取更新后的數(shù)據(jù)，通過所述連接通道中的用于數(shù)據(jù)清洗與轉(zhuǎn)換的應(yīng)用對(duì)更新后的數(shù)據(jù)做數(shù)據(jù)清洗與轉(zhuǎn)換，然后通過所述連接通道傳輸給所述WEB應(yīng)用。

上述技術(shù)方案中，所述連接通道采用WebFlux建立。

上述技術(shù)方案中，所述用于數(shù)據(jù)清洗與轉(zhuǎn)換的應(yīng)用采用JAVA腳本或Groovy腳本的方式實(shí)現(xiàn)。

上述技術(shù)方案中，所述Groovy腳本有多個(gè)，一個(gè)Groovy腳本用于實(shí)現(xiàn)對(duì)一種類型數(shù)據(jù)的清洗與轉(zhuǎn)換。

上述技術(shù)方案中，所述查詢數(shù)據(jù)的更新情況包括：

通過查詢數(shù)據(jù)的版本號(hào)或通過觸發(fā)器或通過監(jiān)控操作日志查詢數(shù)據(jù)的更新情況。

上述技術(shù)方案中，所述WEB應(yīng)用包括WEB可視化分析模塊，所述WEB應(yīng)用與位于服務(wù)器端的服務(wù)之間建立連接通道包括：所述WEB應(yīng)用的WEB可視化分析模塊與位于服務(wù)器端的服務(wù)之間建立連接通道。