[發明專利]數據傳輸方法、裝置、電子設備及存儲介質

在審

• 申請號: 201911399587.7
• 申請日: 2019-12-30
• 公開（公告）號: CN111177267A
• 公開（公告）日: 2020-05-19
• 發明（設計）人: 高英哲;丁徠卿
• 申請（專利權）人: 中信百信銀行股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F21/60
• 代理公司: 北京市蘭臺律師事務所 11354
• 代理人: 張峰

本發明公開了一種數據傳輸方法，包括：從源數據庫中獲取數據包，將加密的服務器時間戳作為所述數據包的指紋；將所述指紋與預存在目標數據庫的指紋做對比，若一致，則將所述數據包的內容寫入所述目標數據庫；若不一致，則終止所述數據傳輸。使用此方法可避免數據在傳輸過程中發生丟包現象，提高異構數據庫間數據傳輸的可靠性。

技術領域

本發明涉及互聯網技術領域，特別是涉及一種數據傳輸方法和裝置。

背景技術

隨著互聯網服務不斷發展，公司各業務部門對業務數據的需求也逐步增加，如數據分析、報表展示等，而各部門為適應自身業務需求，使用的數據庫有所不同。

為實現各異構數據庫間數據交流，最原始的辦法是從各數據庫中將業務數據提取出來生成excel表，再發送給各個部門，或使用離線數據同步工具/平臺將異構數據庫中數據相互傳輸。大量的業務數據產生大量的數據庫間操作，包括備份、傳輸、恢復等多個步驟，容易出現誤操作，發生數據丟失等現象。

對于離線數據同步平臺數據傳輸的可靠性問題，現階段并無對策。

發明內容

基于此，本發明提供一種數據傳輸的方法和裝置，能夠在數據傳輸過程中保證數據不丟包，便于提升數據傳輸的可靠性。

本發明第一個方面，提供一種數據傳輸方法，該方法包括：

從源數據庫中獲取數據包，將加密的服務器時間戳作為所述數據包的指紋；

將所述指紋與預存在目標數據庫的指紋做對比，若一致，則將所述數據包的內容寫入所述目標數據庫；若不一致，則終止所述數據傳輸。

具體地，該方法還包括：

從所述源數據庫獲取數據包時對所述數據包進行預校驗，判斷所述數據包是否包含所述目的數據庫已有字段，

若包含，則將所述數據包中字段對應的值與所述目的數據庫字段對應的值相比較，若相同，則終止所述數據傳輸，若不同，則繼續所述數據傳輸，

若不包含，則繼續所述數據傳輸。

具體地，該方法還包括：

將所述數據包分解成子數據包，根據任意設置的通道數和/或線程數將所述子數據包分組進行傳輸。

具體地，該方法還包括：

所述源數據庫、所述目的數據庫各自獨立包括：Mysql、Oracle、DRDS、Hive或SQLServer。

具體地，該方法還包括：

所述指紋為128位，通過MD5加密獲得。

本發明第二方面提供一種數據傳輸裝置，該裝置包括：

數據庫寫入模塊，用于從源數據庫中獲取數據包，將加密的服務器時間戳作為所述數據包的指紋；

寫前校驗模塊，用于將所述指紋與預存在目標數據庫的指紋做對比，若一致，則將所述數據包的內容寫入所述目標數據庫；若不一致，則終止所述數據傳輸。

具體地，所述裝置還包括：

預校驗模塊，從所述源數據庫獲取數據包時對所述數據包進行預校驗，判斷所述數據包是否包含所述目的數據庫已有字段，若包含，則將所述數據包中字段對應的值與所述目的數據庫字段對應的值相比較，若相同，則終止所述數據傳輸；若不同，則繼續所述數據傳輸，

若不包含，則繼續所述數據傳輸。

具體地，所述裝置還包括：

分配模塊，用于將所述數據包分解成子數據包，根據任意設置的通道數和/或線程數將所述子數據包分組進行傳輸。