[發明專利]一種數據傳輸方法及相關設備

有效

• 申請號: 201810179792.1
• 申請日: 2018-03-05
• 公開（公告）號: CN110198327B
• 公開（公告）日: 2021-09-28
• 發明（設計）人: 吳雙橋;李巖;王玨;楊繁
• 申請（專利權）人: 騰訊科技(深圳)有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 郭潤湘

1.一種數據傳輸方法，其特征在于，所述方法包括：

云平臺接收客戶端發送的數據獲取請求，根據所述數據獲取請求確定篩選條件信息；其中，所述篩選條件信息包括以下至少一個：時間條件信息，包括用于對設定數據庫的各變更記錄的產生時間進行篩選的第一設定時間段；對象條件信息，包括用于對所述設定數據庫的各變更記錄所對應的庫表進行篩選的庫表標識；類型條件信息，包括用于對所述設定數據庫的各變更記錄的變更類型進行篩選的類型標識，所述變更類型包括數據對象變更或者庫表結構變更；

所述云平臺從中間文件中，讀取滿足所述篩選條件信息的變更記錄；其中，所述中間文件是所述云平臺通過對所述設定數據庫的日志文件進行讀取和解析得到的，所述中間文件記錄有所述設定數據庫的所有庫表在第二設定時間段內產生的、各種變更類型的變更記錄，所述第一設定時間段位于所述第二設定時間段內；

所述云平臺將讀取到的變更記錄返回給所述客戶端；

所述云平臺在從中間文件中，讀取滿足所述篩選條件信息的變更記錄之前，所述方法還包括：確定所述中間文件；

確定所述中間文件，具體包括：按照時間先后順序，對所述設定數據庫的日志文件中的每個事務執行以下操作：按照時間先后順序，讀取、解析并記錄當前事務的每條變更記錄；

讀取、解析并記錄當前變更記錄，具體包括：

讀取當前變更記錄；

判斷當前變更記錄的變更類型為庫表結構變更或數據對象變更；

若確定當前變更記錄的變更類型為庫表結構變更，則對當前變更記錄進行解析，確定當前變更記錄對應的結構變更內容，并通過設定組件存儲當前變更記錄對應的結構變更內容，以及，將確定結構變更內容的當前變更記錄順序寫入所述中間文件；

若確定當前變更記錄的變更類型為數據對象變更，則對當前變更記錄進行解析，確定當前變更記錄對應的變更對象，并通過查詢設定組件獲取當前變更記錄對應的變更對象的結構信息，以及，將確定結構信息和變更對象的當前變更記錄順序寫入所述中間文件；其中，所述設定組件用于記錄并保存每一次數據對象的結構信息的變更。

2.如權利要求1所述的數據傳輸方法，其特征在于，所述確定所述中間文件，具體還包括：

在將當前事務的最后一條變更記錄寫入所述中間文件時，對應插入相應的事務索引標識。

3.如權利要求2所述的數據傳輸方法，其特征在于，所述將確定結構變更內容的當前變更記錄順序寫入所述中間文件之后，還包括：

將當前變更記錄在所述中間文件中的位置信息寫入索引文件；或者

所述將確定結構信息和變更對象的當前變更記錄順序寫入所述中間文件之后，還包括：

將當前變更記錄在所述中間文件中的位置信息寫入索引文件。

4.如權利要求3所述的數據傳輸方法，其特征在于，從中間文件中，讀取滿足所述篩選條件信息的變更記錄，具體包括：

根據所述索引文件，確定滿足所述篩選條件信息的各變更記錄在所述中間文件中的位置；其中，所述索引文件是在對所述設定數據庫的日志文件進行讀取和解析以生成所述中間文件時生成的、用于記錄所述中間文件中的各變更記錄的位置信息的文件；

依次讀取滿足所述篩選條件信息的各變更記錄。

5.如權利要求3所述的數據傳輸方法，其特征在于，

所述將確定結構變更內容的當前變更記錄順序寫入所述中間文件，具體包括：采用設定數據格式，將確定結構變更內容的當前變更記錄順序寫入所述中間文件；

所述將確定結構信息和變更對象的當前變更記錄順序寫入所述中間文件，具體包括：采用設定數據格式，將確定結構信息和變更對象的當前變更記錄順序寫入所述中間文件。