[發(fā)明專利]一種數(shù)據(jù)傳輸方法及相關(guān)設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201810179792.1
• 申請(qǐng)日: 2018-03-05
• 公開（公告）號(hào): CN110198327B
• 公開（公告）日: 2021-09-28
• 發(fā)明（設(shè)計(jì)）人: 吳雙橋;李巖;王玨;楊繁
• 申請(qǐng)（專利權(quán)）人: 騰訊科技(深圳)有限公司
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08
• 代理公司: 北京同達(dá)信恒知識(shí)產(chǎn)權(quán)代理有限公司 11291
• 代理人: 郭潤(rùn)湘

涉及數(shù)據(jù)庫(kù)技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)傳輸方法及相關(guān)設(shè)備，客戶端可向云平臺(tái)發(fā)送數(shù)據(jù)獲取請(qǐng)求；云平臺(tái)根據(jù)該數(shù)據(jù)獲取請(qǐng)求確定篩選條件信息，并從中間文件中，讀取滿足該篩選條件信息的變更記錄；其中，中間文件是云平臺(tái)通過(guò)預(yù)先對(duì)設(shè)定數(shù)據(jù)庫(kù)的日志文件進(jìn)行讀取和解析得到的；客戶端接收云平臺(tái)返回的滿足該篩選條件信息的變更記錄。也就是說(shuō)，可通過(guò)對(duì)數(shù)據(jù)庫(kù)的日志文件進(jìn)行讀取生成中間文件，實(shí)現(xiàn)日志文件中變更記錄的異步讀取和傳輸，進(jìn)而在數(shù)據(jù)傳輸時(shí)可根據(jù)篩選條件信息傳輸中間文件中記錄的滿足篩選條件信息的變更記錄，因此，不僅可節(jié)約網(wǎng)絡(luò)資源、提高數(shù)據(jù)傳輸效率，而且還滿足了客戶端的定制化需求。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)庫(kù)技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)傳輸方法及相關(guān)設(shè)備。

背景技術(shù)

由于數(shù)據(jù)庫(kù)的二進(jìn)制日志文件不支持回滾讀取數(shù)據(jù)，因此，數(shù)據(jù)庫(kù)的原生數(shù)據(jù)傳輸方式，只能對(duì)一臺(tái)數(shù)據(jù)庫(kù)的二進(jìn)制日志文件中的變更記錄進(jìn)行一次順序讀取并傳輸至另一臺(tái)數(shù)據(jù)庫(kù)。例如，第一數(shù)據(jù)庫(kù)共包括A、B、C三個(gè)庫(kù)表，第一數(shù)據(jù)庫(kù)的二進(jìn)制日志文件按照時(shí)間順序依次記錄了A、B、C三個(gè)庫(kù)表的每次變更；在一次將第一數(shù)據(jù)庫(kù)中的數(shù)據(jù)傳輸?shù)降诙?shù)據(jù)庫(kù)的過(guò)程中，只能從上一次數(shù)據(jù)傳輸過(guò)程讀取的最后一條變更記錄的下一條變更記錄開始，順序讀取并傳輸?shù)谝粩?shù)據(jù)庫(kù)的二進(jìn)制日志文件中的每條變更記錄。

可見，數(shù)據(jù)庫(kù)的原生數(shù)據(jù)傳輸方式無(wú)法實(shí)現(xiàn)根據(jù)需求有選擇性地傳輸數(shù)據(jù)，數(shù)據(jù)傳輸效率較低、浪費(fèi)網(wǎng)絡(luò)資源。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種數(shù)據(jù)傳輸方法及相關(guān)設(shè)備，用以解決數(shù)據(jù)庫(kù)的原生數(shù)據(jù)傳輸方式效率較低、浪費(fèi)網(wǎng)絡(luò)資源的問(wèn)題。

第一方面，本發(fā)明實(shí)施例提供了一種數(shù)據(jù)傳輸方法，所述方法包括：

接收客戶端發(fā)送的數(shù)據(jù)獲取請(qǐng)求，根據(jù)所述數(shù)據(jù)獲取請(qǐng)求確定篩選條件信息；

從中間文件中，讀取滿足所述篩選條件信息的變更記錄；其中，所述中間文件是通過(guò)預(yù)先對(duì)設(shè)定數(shù)據(jù)庫(kù)的日志文件進(jìn)行讀取和解析得到的；

將讀取到的變更記錄返回給所述客戶端。

也就是說(shuō)，可預(yù)先對(duì)第一數(shù)據(jù)庫(kù)的日志文件進(jìn)行讀取得到中間文件，不同于數(shù)據(jù)庫(kù)日志文件的不支持回滾讀取以及跳躍讀取、只能從上一次讀取的最后一條變更記錄的下一條變更記錄開始向下順序讀取每條變更記錄，中間文件中的數(shù)據(jù)可從任一條變更記錄開始、以任意方式進(jìn)行讀取，進(jìn)而可實(shí)現(xiàn)根據(jù)任一篩選條件，選擇性地讀取并傳輸中間文件中滿足該篩選條件的變更記錄。

優(yōu)選地，所述篩選條件信息包括以下至少一個(gè)：

時(shí)間條件信息，包括用于對(duì)所述設(shè)定數(shù)據(jù)庫(kù)的各變更記錄的產(chǎn)生時(shí)間進(jìn)行篩選的設(shè)定時(shí)間段；

對(duì)象條件信息，包括用于對(duì)所述設(shè)定數(shù)據(jù)庫(kù)的各變更記錄所對(duì)應(yīng)的庫(kù)表進(jìn)行篩選的庫(kù)表標(biāo)識(shí)；

類型條件信息，包括用于對(duì)所述設(shè)定數(shù)據(jù)庫(kù)的各變更記錄的變更類型進(jìn)行篩選的類型標(biāo)識(shí)；其中，變更類型包括數(shù)據(jù)對(duì)象變更或者庫(kù)表結(jié)構(gòu)變更。

即，篩選條件信息可包括時(shí)間條件信息、對(duì)象條件信息和類型條件信息的任意組合，因此，可滿足客戶端的定制化需求。

優(yōu)選地，在從中間文件中，讀取滿足所述篩選條件信息的變更記錄之前，所述方法還包括：確定所述中間文件；

確定所述中間文件，具體包括：按照時(shí)間先后順序，對(duì)所述設(shè)定數(shù)據(jù)庫(kù)的日志文件中的每個(gè)事務(wù)執(zhí)行以下操作：

按照時(shí)間先后順序，讀取、解析并記錄當(dāng)前事務(wù)的每條變更記錄，并在將當(dāng)前事務(wù)的最后一條變更記錄寫入所述中間文件時(shí)，對(duì)應(yīng)插入相應(yīng)的事務(wù)索引標(biāo)識(shí)。

進(jìn)一步可選地，讀取、解析并記錄當(dāng)前變更記錄，具體包括：

讀取當(dāng)前變更記錄；

判斷當(dāng)前變更記錄的變更類型為庫(kù)表結(jié)構(gòu)變更或數(shù)據(jù)對(duì)象變更；