[發明專利]內外網數據交換系統、方法、裝置、計算機設備和介質

在審

• 申請號: 202010862959.1
• 申請日: 2020-08-25
• 公開（公告）號: CN112000741A
• 公開（公告）日: 2020-11-27
• 發明（設計）人: 趙文猛;周華鋒;顧慧杰;許丹莉;朱文;梁彥杰
• 申請（專利權）人: 中國南方電網有限責任公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F9/54;H04L29/08
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 關志琨

1.一種內外網數據交換系統，其特征在于，包括：外網數據同步服務器、數據交換系統以及內網數據同步客戶端；所述數據交換系統包括外網消息隊列、外網文件同步服務器、內外網交換平臺、內網文件同步客戶端和內網消息隊列；其中，

所述外網數據同步服務器，用于采集數據庫操作日志，根據所述數據庫操作日志生成預設格式的同步數據，將所述同步數據發送至所述外網消息隊列存儲；

所述數據交換系統，用于通過所述外網文件同步服務器從所述外網消息隊列讀取所述同步數據，并寫入同步數據文件，將所述同步數據文件上傳至所述內外網交換平臺存儲；

通過所述內網文件同步客戶端從所述內外網交換平臺下載所述同步數據文件，讀取所述同步數據文件中的所述預設格式的同步數據，將所述同步數據發送至所述內網消息隊列存儲；

所述內網數據同步客戶端，用于從所述內網消息隊列讀取所述同步數據，基于所述同步數據進行同步數據入庫。

2.根據權利要求1所述的系統，其特征在于，所述外網數據同步服務器，進一步用于按照針對數據庫的預設表白名單、表字段白名單、表黑名單和表字段黑名單，對采集得到的所述數據庫操作日志進行過濾，并根據過濾后的數據庫操作日志生成所述預設格式的同步數據。

3.根據權利要求1所述的系統，其特征在于，所述內網數據同步客戶端，進一步用于從所述內網消息隊列讀取所述同步數據，根據所述同步數據匹配對應的數據庫并生成對應的數據庫執行語句，根據所述數據庫執行語句執行針對所述對應的數據庫的數據入庫操作。

4.根據權利要求1至3任一項所述的系統，其特征在于，所述預設格式為json格式；所述同步數據文件為所述json格式的同步數據文件；所述外網消息隊列和所述內網消息隊列基于kafka服務器構建。

5.一種內外網數據交換方法，其特征在于，應用于數據交換系統，所述數據交換系統包括外網消息隊列、外網文件同步服務器、內外網交換平臺、內網文件同步客戶端和內網消息隊列，所述方法包括：

通過外網消息隊列接收并存儲外網數據同步服務器發送的預設格式的同步數據；所述預設格式的同步數據是由外網數據同步服務器采集數據庫操作日志，并根據所述數據庫操作日志生成的預設格式的同步數據；

通過外網文件同步服務器從所述外網消息隊列讀取所述同步數據，并寫入同步數據文件，將所述同步數據文件上傳至所述內外網交換平臺存儲；

通過內網文件同步客戶端從所述內外網交換平臺下載所述同步數據文件，讀取所述同步數據文件中的所述預設格式的同步數據，將所述同步數據發送至所述內網消息隊列存儲；其中，所述內網消息隊列存儲的所述預設格式的同步數據被內網數據同步客戶端讀取后，由所述內網數據同步客戶端基于所述同步數據進行同步數據入庫。

6.根據權利要求5所述的方法，其特征在于，所述預設格式的同步數據是由所述外網數據同步服務器采集所述數據庫操作日志后，分別按照針對數據庫的預設白名單、表字段白名單、表黑名單和表字段黑名單，對采集得到的所述數據庫操作日志進行過濾，并根據過濾后的數據庫操作日志生成的預設格式的同步數據。

7.根據權利要求5所述的方法，其特征在于，所述內網數據同步客戶端，進一步用于從所述內網消息隊列讀取所述同步數據，根據所述同步數據匹配對應的數據庫并生成對應的數據庫執行語句，根據所述數據庫執行語句執行針對所述對應的數據庫的數據入庫操作。