[發明專利]數據同步方法、裝置、設備和計算機存儲介質

有效

• 申請號: 202010135090.0
• 申請日: 2020-02-29
• 公開（公告）號: CN111400397B
• 公開（公告）日: 2023-04-11
• 發明（設計）人: 何建寧
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 徐進之

本發明公開了一種數據同步方法，包括以下步驟：在接收到數據同步請求時，獲取所述數據同步請求對應的數據源信息，根據所述數據源信息創建數據同步鏈路；在所述數據同步鏈路的數量大于預設閾值時，采集設備狀態信息并根據所述設備狀態信息從所述數據同步鏈路中選擇目標數據同步鏈路；獲取所述目標數據同步鏈路對應的SQL指令，將所述SQL指令轉化為大數據環境的操作指令，執行所述大數據環境的操作指令進行數據同步操作。本發明還公開了一種數據同步裝置、設備和計算機存儲介質。本發明提高了數據同步的實時性和效率。

技術領域

本發明涉及數據同步領域，尤其涉及數據同步方法、裝置、設備和計算機存儲介質。

背景技術

隨著計算機技術的快速發展，對數據分析、挖掘有著強烈的需求，當前關系型數據庫無法支持全面的數據分析、挖掘，因此需要將關系型數據庫中的數據同步到大數據平臺，才能用大數據工具進行數據分析處理。

當前數據同步的方式為每天定時跑批，把前一天關系型數據庫中產生的數據同步到大數據平臺，這樣的數據同步方式，無法保證數據同步的實時性，且如果涉及到多個關系型數據庫的數據同步時，受到網絡條件或者硬件條件的限制，數據同步時間較長。

發明內容

本發明的主要目的在于提供一種數據同步方法、裝置、設備和計算機存儲介質，旨在解決當前數據同步實時性較差同步效率低的技術問題。

為實現上述目的，本發明提供數據同步方法，所述數據同步方法包括以下步驟：

在接收到數據同步請求時，獲取所述數據同步請求對應的數據源信息，根據所述數據源信息創建數據同步鏈路；

在所述數據同步鏈路的數量大于預設閾值時，采集設備狀態信息并根據所述設備狀態信息從所述數據同步鏈路中選擇目標數據同步鏈路；

獲取所述目標數據同步鏈路對應的SQL指令，將所述SQL指令轉化為大數據環境的操作指令，執行所述大數據環境的操作指令進行數據同步操作。

在一實施例中，所述在接收到數據同步請求時，獲取所述數據同步請求對應的數據源信息，根據所述數據源信息創建數據同步鏈路的步驟，包括：

在接收到數據同步請求時，輸出數據源配置提示；

獲取基于所述數據源配置提示輸入的數據源信息，將所述數據源信息中數據源標識、數據庫標識、數據表標識和字段標識關聯生成數據同步鏈路。

在一實施例中，所述在所述數據同步鏈路的數量大于預設閾值時，采集設備狀態信息并根據所述設備狀態信息從所述數據同步鏈路中選擇目標數據同步鏈路的步驟，包括：

在所述數據同步鏈路的數量大于預設閾值時，采集設備狀態信息，并判斷各所述數據同步鏈路中的數據源標識是否相同；

若各所述數據同步鏈路中的數據源標識不同，則根據所述設備狀態信息和所述數據同步鏈路中的數據源標識，從所述數據同步鏈路中選擇目標數據同步鏈路；

若各所述數據同步鏈路中的數據源標識相同，則根據所述設備狀態信息從所述數據同步鏈路中選擇目標數據同步鏈路。

在一實施例中，所述根據所述設備狀態信息從所述數據同步鏈路中選擇目標數據同步鏈路的步驟，包括：

提取所述設備狀態信息中設備寬帶、設備核數和設備內存容量；

查詢預設映射表，獲取所述設備寬帶、所述設備核數和所述設備內存容量對應的數據同步數量；

按所述數據同步鏈路創建時間的先后順序排序各所述數據同步鏈路，獲取創建時間排序靠前的所述數據同步數量對應個數的數據同步鏈路作為目標數據同步鏈路。

在一實施例中，所述根據所述設備狀態信息和所述數據同步鏈路中的數據源標識，從所述數據同步鏈路中選擇目標數據同步鏈路的步驟，包括：