[發明專利]一種數據寫入方法、系統、電子設備及可存儲介質

在審

• 申請號: 202211150596.4
• 申請日: 2022-09-21
• 公開（公告）號: CN115495461A
• 公開（公告）日: 2022-12-20
• 發明（設計）人: 邵震洲;姚迪;鄧林;黃益民;楊國蓉;朱國耀
• 申請（專利權）人: 浙江浙大網新軟件產業集團有限公司;浙江省人力資源和社會保障信息中心
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/25
• 代理公司: 杭州五洲普華專利代理事務所(特殊普通合伙) 33260
• 代理人: 姚宇吉

本發明涉及數據處理技術領域，公開了一種數據寫入方法、系統、電子設備及可存儲介質，包括：讀取源數據庫的redo日志并進行解析，對解析出來的日志文件進行處理得到帶有唯一時間編碼的json文件，將所述json文件存儲到硬盤中，其中，每存入一個json文件都自動匹配一個唯一時間編碼存儲到所述硬盤中，記錄排列順序；根據唯一時間編碼的時間順序依次獲取所述硬盤中的json文件，對所述json文件進行解析，得到對應不同表名的SQL語句，寫入到目標數據庫中。本發明解決了現有技術中當寫入器發生異常需要再重新從頭開始同步的問題，而是使得能夠從中斷的地方開始寫入，提高同步效率。

技術領域

本發明涉及數據處理技術領域，具體為一種數據寫入方法、系統、電子設備及可存儲介質。

背景技術

在當前的信息化時代，數據庫是儲存資訊時必不可少的系統，并且，在很多業務場景下，都涉及到數據庫之間的數據同步，但是隨著業務量的增多，數據庫服務器也會越來越多，這樣各個數據庫服務器之間的數據同步就變得很麻煩而且容易出錯，而現有的數據庫同步方法都是基于日志分析器和寫入器都不會出現問題的場景之上進行的，但是，如當電腦突然斷電等外部因素，會導致寫入器發生異常退出，而當把寫入器重新啟動后是無法判斷上次讀取的位置的，如果要重新寫入還需實時記錄文件讀取的位置，但是這樣的方式始終會出現一些問題。為此需要有一種當日志分析器和寫入器發生異常也會從中斷的位置開始讀取的數據庫同步方法。

發明內容

本發明的目的在于克服現有數據庫同步方式不能解決寫入器發生異常的問題，提供了一種數據寫入方法、系統、電子設備及可存儲介質。

為了實現上述目的，本發明提供一種數據寫入方法，包括以下步驟：

讀取源數據庫的redo日志并進行解析，對解析出來的日志文件進行處理得到帶有唯一時間編碼的json文件，，將所述json文件存儲到硬盤中，其中，每存入一個json文件都自動匹配一個唯一時間編碼存儲到所述硬盤中，記錄排列順序；

根據唯一時間編碼的時間順序依次獲取所述硬盤中的json文件，對所述json文件進行解析，得到對應不同表名的SQL語句，寫入到目標數據庫中。

作為一種可實施方式，在根據唯一時間編碼的時間順序依次獲取所述硬盤中的json文件的過程中還包括：當發生異常導致中斷獲取，接收到重新獲取指令后根據排列順序從中斷的地方開始依次獲取所述硬盤中的json文件。

作為一種可實施方式，在得到對應不同表名的SQL語句后寫入到目標數據庫中的步驟具體包括，根據表名將SQL語句推送到不同消息隊列當中，不同消息隊列將接收到的對應不同表名的SQL語句寫入到目標數據庫中。

作為一種可實施方式，獲取所述硬盤中的json文件的方式包括通過pushconsumer方式獲取所述硬盤中的json文件。

相應的，本發明還提供一種數據寫入系統，包括：

日志分析器，用于讀取源數據庫的redo日志并進行解析，對解析出來的日志文件進行處理得到帶有唯一時間編碼的json文件，，將所述json文件存儲到硬盤中，其中，每存入一個json文件都自動匹配一個唯一時間編碼存儲到所述硬盤中，記錄排列順序；

寫入器，用于根據唯一時間編碼的時間順序依次獲取所述硬盤中的json文件，對所述json文件進行解析，得到對應不同表名的SQL語句，寫入到目標數據庫中。

作為一種可實施方式，在根據唯一時間編碼的時間順序依次獲取所述硬盤中的json文件的過程中還包括：當發生異常導致中斷獲取，接收到重新獲取指令后根據排列順序從中斷的地方開始依次獲取所述硬盤中的json文件。

作為一種可實施方式，在得到對應不同表名的SQL語句后寫入到目標數據庫中的步驟具體包括，根據表名將SQL語句推送到不同消息隊列當中，不同消息隊列將接收到的對應不同表名的SQL語句寫入到目標數據庫中。