[發(fā)明專利]數(shù)據(jù)的涓流傳輸方法及裝置、存儲(chǔ)介質(zhì)、終端

在審

• 申請?zhí)枺?/td>: 201811040680.4
• 申請日: 2018-09-05
• 公開（公告）號(hào): CN109241188A
• 公開（公告）日: 2019-01-18
• 發(fā)明（設(shè)計(jì)）人: 侯松;談晟;劉峰
• 申請（專利權(quán)）人: 上海汽車集團(tuán)股份有限公司
• 主分類號(hào): G06F16/27
• 分類號(hào): G06F16/27
• 代理公司: 北京信遠(yuǎn)達(dá)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11304
• 代理人: 魏曉波

一種數(shù)據(jù)的涓流傳輸方法及裝置、存儲(chǔ)介質(zhì)、終端，所述方法包括：并行導(dǎo)入全量數(shù)據(jù)流和增量數(shù)據(jù)流，所述全量數(shù)據(jù)流和增量數(shù)據(jù)流分別包括至少一個(gè)記錄行，對于每一記錄行，所述記錄行具有用于唯一標(biāo)識(shí)數(shù)據(jù)版本的時(shí)間戳、用于標(biāo)識(shí)記錄行有效性的狀態(tài)碼以及行鍵，所述行鍵根據(jù)所述記錄行的主鍵確定；對于行鍵相同的多個(gè)記錄行，根據(jù)所述多個(gè)記錄行中導(dǎo)入自增量數(shù)據(jù)流的記錄行的操作類型、所述多個(gè)記錄行各自的時(shí)間戳和狀態(tài)碼合并所述多個(gè)記錄行，所述操作類型用于指示所述記錄行的導(dǎo)入方式。通過本發(fā)明提供的方案能夠有效實(shí)現(xiàn)數(shù)據(jù)庫與大數(shù)據(jù)平臺(tái)之間、大數(shù)據(jù)平臺(tái)與大數(shù)據(jù)平臺(tái)之間的數(shù)據(jù)實(shí)時(shí)同步，并確保同步期間大數(shù)據(jù)平臺(tái)的持續(xù)可用性。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)技術(shù)領(lǐng)域，具體地涉及一種數(shù)據(jù)的涓流傳輸方法及裝置、存儲(chǔ)介質(zhì)、終端。

背景技術(shù)

隨著信息化技術(shù)的發(fā)展，大數(shù)據(jù)應(yīng)用已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。因而，如何對大數(shù)據(jù)進(jìn)行有效管理并進(jìn)一步同步、復(fù)制和應(yīng)用已經(jīng)成為提供核心競爭力、搶占市場先機(jī)的關(guān)鍵。

在傳統(tǒng)關(guān)系型數(shù)據(jù)庫應(yīng)用領(lǐng)域中，數(shù)據(jù)庫與數(shù)據(jù)庫之間的數(shù)據(jù)實(shí)時(shí)同步，更多依賴于先全量再增量的機(jī)制。具體而言，需要先將源表的數(shù)據(jù)全量導(dǎo)出再導(dǎo)入到目標(biāo)表，等到全量導(dǎo)入完成后，根據(jù)全量導(dǎo)出的時(shí)間點(diǎn)，通過增量同步工具將增量數(shù)據(jù)從源表同步到目標(biāo)表。

然而，基于這樣的方案，現(xiàn)有在數(shù)據(jù)庫與大數(shù)據(jù)平臺(tái)之間、大數(shù)據(jù)平臺(tái)與大數(shù)據(jù)平臺(tái)之間往往無法有效進(jìn)行數(shù)據(jù)實(shí)時(shí)同步，仍需通過全量導(dǎo)數(shù)來進(jìn)行。而頻繁地將數(shù)據(jù)全量導(dǎo)出與導(dǎo)入既增加了源數(shù)據(jù)庫的壓力，導(dǎo)致源數(shù)據(jù)庫性能下降，又降低了大數(shù)據(jù)平臺(tái)的持續(xù)可用性，因?yàn)樵趯?dǎo)數(shù)期間大數(shù)據(jù)平臺(tái)的相關(guān)功能是不可用的。

綜上所述，現(xiàn)有技術(shù)無法提供一種可應(yīng)用于大數(shù)據(jù)平臺(tái)的數(shù)據(jù)實(shí)時(shí)同步方案，以實(shí)現(xiàn)數(shù)據(jù)庫與大數(shù)據(jù)平臺(tái)之間、大數(shù)據(jù)平臺(tái)與大數(shù)據(jù)平臺(tái)之間的數(shù)據(jù)實(shí)時(shí)同步，并確保同步期間大數(shù)據(jù)平臺(tái)的持續(xù)可用性。

發(fā)明內(nèi)容

本發(fā)明解決的技術(shù)問題是如何更有效地實(shí)現(xiàn)數(shù)據(jù)庫與大數(shù)據(jù)平臺(tái)之間、大數(shù)據(jù)平臺(tái)與大數(shù)據(jù)平臺(tái)之間的數(shù)據(jù)實(shí)時(shí)同步，并確保同步期間大數(shù)據(jù)平臺(tái)的持續(xù)可用性。

為解決上述技術(shù)問題，本發(fā)明實(shí)施例提供一種數(shù)據(jù)的涓流傳輸方法，包括：并行導(dǎo)入全量數(shù)據(jù)流和增量數(shù)據(jù)流，所述全量數(shù)據(jù)流和增量數(shù)據(jù)流分別包括至少一個(gè)記錄行，對于每一記錄行，所述記錄行具有用于唯一標(biāo)識(shí)數(shù)據(jù)版本的時(shí)間戳、用于標(biāo)識(shí)記錄行有效性的狀態(tài)碼以及行鍵，所述行鍵根據(jù)所述記錄行的主鍵確定；對于行鍵相同的多個(gè)記錄行，根據(jù)所述多個(gè)記錄行中導(dǎo)入自增量數(shù)據(jù)流的記錄行的操作類型、所述多個(gè)記錄行各自的時(shí)間戳和狀態(tài)碼合并所述多個(gè)記錄行，所述操作類型用于指示所述記錄行的導(dǎo)入方式；其中，對于行鍵相同的多個(gè)記錄行，導(dǎo)入自所述全量數(shù)據(jù)流的記錄行的時(shí)間戳不同于導(dǎo)入自增量數(shù)據(jù)流的記錄行的時(shí)間戳。

可選的，導(dǎo)入自所述全量數(shù)據(jù)流的記錄行的時(shí)間戳設(shè)置為預(yù)設(shè)最早時(shí)間戳，導(dǎo)入自所述增量數(shù)據(jù)流的記錄行的時(shí)間戳為該記錄行導(dǎo)入時(shí)的實(shí)時(shí)時(shí)間戳。

可選的，所述對于行鍵相同的多個(gè)記錄行，導(dǎo)入自所述全量數(shù)據(jù)流的記錄行的時(shí)間戳不同于導(dǎo)入自增量數(shù)據(jù)流的記錄行的時(shí)間戳是指：所述導(dǎo)入自所述全量數(shù)據(jù)流的記錄行的時(shí)間戳早于導(dǎo)入自增量數(shù)據(jù)流的記錄行的時(shí)間戳。

可選的，所述對于行鍵相同的多個(gè)記錄行，根據(jù)所述多個(gè)記錄行中導(dǎo)入自增量數(shù)據(jù)流的記錄行的操作類型、所述多個(gè)記錄行各自的時(shí)間戳和狀態(tài)碼合并所述多個(gè)記錄行包括：當(dāng)所述導(dǎo)入自增量數(shù)據(jù)流的記錄行的操作類型為插入操作時(shí)，保留所述多個(gè)記錄行中時(shí)間戳最新的記錄行。

可選的，所述對于行鍵相同的多個(gè)記錄行，根據(jù)所述多個(gè)記錄行中導(dǎo)入自增量數(shù)據(jù)流的記錄行的操作類型、所述多個(gè)記錄行各自的時(shí)間戳和狀態(tài)碼合并所述多個(gè)記錄行包括：當(dāng)所述導(dǎo)入自增量數(shù)據(jù)流的記錄行的操作類型為刪除操作時(shí)，保留所述多個(gè)記錄行中時(shí)間戳最新且狀態(tài)碼指示為刪除狀態(tài)的記錄行。