[發(fā)明專利]業(yè)務(wù)數(shù)據(jù)同步方法及裝置、非易失性存儲(chǔ)介質(zhì)、處理器

在審

• 申請(qǐng)?zhí)枺?/td>: 202011282003.0
• 申請(qǐng)日: 2020-11-16
• 公開（公告）號(hào): CN112380229A
• 公開（公告）日: 2021-02-19
• 發(fā)明（設(shè)計(jì)）人: 劉亦軒
• 申請(qǐng)（專利權(quán)）人: 中消云（北京）物聯(lián)網(wǎng)科技研究院有限公司
• 主分類號(hào): G06F16/23
• 分類號(hào): G06F16/23;G06F16/27;G06F16/958
• 代理公司: 北京康信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 肖璐

本發(fā)明公開了一種業(yè)務(wù)數(shù)據(jù)同步方法及裝置、非易失性存儲(chǔ)介質(zhì)、處理器。其中，該方法包括：在監(jiān)聽到源數(shù)據(jù)庫中的業(yè)務(wù)數(shù)據(jù)更新時(shí)，將獲取到的待推送數(shù)據(jù)轉(zhuǎn)存至目標(biāo)消息隊(duì)列；當(dāng)同步轉(zhuǎn)化服務(wù)程序監(jiān)聽上述目標(biāo)消息隊(duì)列中的上述待推送數(shù)據(jù)時(shí)，依據(jù)上述推送數(shù)據(jù)的數(shù)據(jù)表類型對(duì)上述待推送數(shù)據(jù)進(jìn)行轉(zhuǎn)化處理，得到轉(zhuǎn)化后待推送數(shù)據(jù)，其中，所述轉(zhuǎn)化后待推送數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)與目標(biāo)第三方平臺(tái)的數(shù)據(jù)結(jié)構(gòu)對(duì)應(yīng)；采用推送服務(wù)程序?qū)⑸鲜鲛D(zhuǎn)化后待推送數(shù)據(jù)推送至上述目標(biāo)第三方平臺(tái)。本發(fā)明解決了現(xiàn)有技術(shù)中的業(yè)務(wù)數(shù)據(jù)同步方法，無法同時(shí)兼顧對(duì)源數(shù)據(jù)庫的監(jiān)聽和對(duì)變化數(shù)據(jù)的同步處理的技術(shù)問題。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，具體而言，涉及一種業(yè)務(wù)數(shù)據(jù)同步方法及裝置、非易失性存儲(chǔ)介質(zhì)、處理器。

背景技術(shù)

在第三方服務(wù)快速發(fā)展的背景下，越來越多的情況需要引進(jìn)第三方廠商提供的服務(wù)或?yàn)槠渌麖S商提供服務(wù)。通常情況下，雙方數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)可能存在較大差異，在數(shù)據(jù)遷移時(shí)會(huì)造成大量人力物力的投入，使成本的提高。

現(xiàn)有技術(shù)中的一種數(shù)據(jù)轉(zhuǎn)化方法及系統(tǒng)中，采用了利用讀取工具從源數(shù)據(jù)庫中讀取數(shù)據(jù)的方式獲取待轉(zhuǎn)化數(shù)據(jù)，但是，當(dāng)源數(shù)據(jù)庫數(shù)據(jù)更新時(shí)，無法同時(shí)兼顧對(duì)源數(shù)據(jù)庫的監(jiān)聽和對(duì)變化數(shù)據(jù)的轉(zhuǎn)化同步處理。

針對(duì)上述的問題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種業(yè)務(wù)數(shù)據(jù)同步方法及裝置、非易失性存儲(chǔ)介質(zhì)、處理器，以至少解決現(xiàn)有技術(shù)中的業(yè)務(wù)數(shù)據(jù)同步方法，無法同時(shí)兼顧對(duì)源數(shù)據(jù)庫的監(jiān)聽和對(duì)變化數(shù)據(jù)的同步處理的技術(shù)問題。

根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種業(yè)務(wù)數(shù)據(jù)同步方法，包括：在監(jiān)聽到源數(shù)據(jù)庫中的業(yè)務(wù)數(shù)據(jù)更新時(shí)，將獲取到的待推送數(shù)據(jù)轉(zhuǎn)存至目標(biāo)消息隊(duì)列；當(dāng)同步轉(zhuǎn)化服務(wù)程序監(jiān)聽上述目標(biāo)消息隊(duì)列中的上述待推送數(shù)據(jù)時(shí)，依據(jù)上述推送數(shù)據(jù)的數(shù)據(jù)表類型對(duì)上述待推送數(shù)據(jù)進(jìn)行轉(zhuǎn)化處理，得到轉(zhuǎn)化后待推送數(shù)據(jù)，其中，上述轉(zhuǎn)化后待推送數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)與目標(biāo)第三方平臺(tái)的數(shù)據(jù)結(jié)構(gòu)對(duì)應(yīng)；采用推送服務(wù)程序?qū)⑸鲜鲛D(zhuǎn)化后待推送數(shù)據(jù)推送至上述目標(biāo)第三方平臺(tái)。

可選的，采用監(jiān)聽組件監(jiān)聽上述源數(shù)據(jù)庫中的源數(shù)據(jù)日志文件，確定上述業(yè)務(wù)數(shù)據(jù)是否發(fā)生更新，其中，上述監(jiān)聽組件包括：數(shù)據(jù)庫同步監(jiān)聽Canal組件。

可選的，將獲取到的待推送數(shù)據(jù)轉(zhuǎn)存至目標(biāo)消息隊(duì)列，包括：獲取上述源數(shù)據(jù)庫中的更新后業(yè)務(wù)數(shù)據(jù)，以及與上述更新后業(yè)務(wù)數(shù)據(jù)對(duì)應(yīng)的更新前業(yè)務(wù)數(shù)據(jù)；將上述更新前業(yè)務(wù)數(shù)據(jù)和上述更新后業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)化為上述待推送數(shù)據(jù)，其中，上述待推送數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)為目標(biāo)消息體結(jié)構(gòu)。

可選的，依據(jù)上述推送數(shù)據(jù)的數(shù)據(jù)表類型對(duì)上述待推送數(shù)據(jù)進(jìn)行轉(zhuǎn)化處理，包括：獲取上述待推送數(shù)據(jù)中攜帶的數(shù)據(jù)標(biāo)識(shí)信息；基于上述數(shù)據(jù)標(biāo)識(shí)信息確定上述數(shù)據(jù)表類型；依據(jù)上述數(shù)據(jù)表類型判斷上述待推送數(shù)據(jù)是否適用本地定制服務(wù)，其中，上述本地定制服務(wù)基于目標(biāo)事件監(jiān)聽機(jī)制處理待推送數(shù)據(jù)，并將待推送數(shù)據(jù)封裝成目標(biāo)事件進(jìn)行廣播；若判斷結(jié)果為是，則確定與上述數(shù)據(jù)表類型對(duì)應(yīng)的監(jiān)聽類型，其中，不同的上述監(jiān)聽類型對(duì)應(yīng)不同的事件監(jiān)聽器，上述事件監(jiān)聽器用于在接收到廣播后對(duì)上述待推送數(shù)據(jù)進(jìn)行轉(zhuǎn)化處理。

可選的，若判斷結(jié)果為否則丟棄上述待推送數(shù)據(jù)。

可選的，采用推送服務(wù)程序?qū)⑸鲜鲛D(zhuǎn)化后待推送數(shù)據(jù)推送至上述目標(biāo)第三方平臺(tái)，包括：采用上述推送服務(wù)程序?qū)⑸鲜鲛D(zhuǎn)化后待推送數(shù)據(jù)轉(zhuǎn)化為目標(biāo)字符串；通過超文本傳輸協(xié)議Http請(qǐng)求訪問上述目標(biāo)第三方平臺(tái)的數(shù)據(jù)接收接口，并采用接口請(qǐng)求工具將上述目標(biāo)字符串推送至上述數(shù)據(jù)接收接口，其中，上述目標(biāo)第三方平臺(tái)還用于將上述目標(biāo)字符串存儲(chǔ)至本地?cái)?shù)據(jù)庫中。