[發(fā)明專利]基于數(shù)據(jù)庫的海量數(shù)據(jù)交換方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011298526.4
• 申請(qǐng)日: 2020-11-18
• 公開（公告）號(hào): CN112364007B
• 公開（公告）日: 2023-08-22
• 發(fā)明（設(shè)計(jì)）人: 張健
• 申請(qǐng)（專利權(quán)）人: 中國(guó)平安人壽保險(xiǎn)股份有限公司
• 主分類號(hào): G06F16/215
• 分類號(hào): G06F16/215;G06F16/25;G06F16/27
• 代理公司: 深圳市明日今典知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44343
• 代理人: 王杰輝;宋慶洪

本申請(qǐng)涉及一種基于數(shù)據(jù)庫的海量數(shù)據(jù)交換方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)，所述方法包括：從源數(shù)據(jù)庫中獲取源數(shù)據(jù)；將源數(shù)據(jù)加載到緩沖空間；從緩沖空間中按數(shù)據(jù)槽順時(shí)針順序逐個(gè)獲取源數(shù)據(jù)；識(shí)別源數(shù)據(jù)的數(shù)據(jù)類型，并按照對(duì)應(yīng)源數(shù)據(jù)的數(shù)據(jù)類型的輸入方式將源數(shù)據(jù)輸入至disruptor組件，不同數(shù)據(jù)類型對(duì)應(yīng)不同的輸入方式；當(dāng)需要執(zhí)行指定任務(wù)時(shí)，根據(jù)所述指定任務(wù)從所述disruptor組件中獲取指定源數(shù)據(jù)；將指定源數(shù)據(jù)進(jìn)行過濾處理，得到已處理數(shù)據(jù)；依據(jù)指定任務(wù)將已處理數(shù)據(jù)存入至與指定任務(wù)對(duì)應(yīng)的目標(biāo)庫，每一目標(biāo)庫對(duì)應(yīng)一業(yè)務(wù)系統(tǒng)。通過本申請(qǐng)通過的基于數(shù)據(jù)庫的海量數(shù)據(jù)交換方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)，能夠減少海量數(shù)據(jù)在交換時(shí)的流程和鏈路。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)處理的技術(shù)領(lǐng)域，特別涉及一種基于數(shù)據(jù)庫的海量數(shù)據(jù)交換方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)

對(duì)于較大的企業(yè)而言，其線上交易的數(shù)據(jù)量比較大，例如一些企業(yè)每日的數(shù)據(jù)交換都是TB級(jí)的數(shù)據(jù)量，每天至少產(chǎn)生數(shù)千個(gè)數(shù)據(jù)，目前需要從全國(guó)各個(gè)專業(yè)公司同步相關(guān)的業(yè)務(wù)數(shù)據(jù)時(shí)，通常是采用mysql分庫分表或者share?everything架構(gòu)，流程化比較復(fù)雜，鏈路比較長(zhǎng)，一般需要三次傳輸，三次落地，一次清洗，例如：先從原始數(shù)據(jù)庫中數(shù)據(jù)同步到原始數(shù)據(jù)數(shù)倉中，再通過sqoop程序?qū)?shù)據(jù)同步到目的數(shù)倉中，再將數(shù)據(jù)落地到本地?cái)?shù)據(jù)庫中，過程比較耗時(shí)，且無法實(shí)時(shí)清洗數(shù)據(jù)。

發(fā)明內(nèi)容

本申請(qǐng)的主要目的為提供一種基于數(shù)據(jù)庫的海量數(shù)據(jù)交換方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)，旨在解決海量數(shù)據(jù)在交換時(shí)流程化復(fù)雜和鏈路較長(zhǎng)的技術(shù)問題。

為實(shí)現(xiàn)上述目的，本申請(qǐng)?zhí)峁┝艘环N基于數(shù)據(jù)庫的海量數(shù)據(jù)交換方法，包括以下步驟：

從源數(shù)據(jù)庫中獲取源數(shù)據(jù)；

將所述源數(shù)據(jù)加載到緩沖空間，所述緩沖空間具有2n個(gè)環(huán)形的數(shù)據(jù)槽，所述數(shù)據(jù)槽用于存放所述源數(shù)據(jù)；其中，所述n為正整數(shù)；

從所述緩沖空間中按數(shù)據(jù)槽順時(shí)針順序逐個(gè)獲取所述源數(shù)據(jù)；

識(shí)別所述源數(shù)據(jù)的數(shù)據(jù)類型，并按照對(duì)應(yīng)所述源數(shù)據(jù)的數(shù)據(jù)類型的輸入方式將所述源數(shù)據(jù)輸入至disruptor組件，不同數(shù)據(jù)類型對(duì)應(yīng)不同的輸入方式；

當(dāng)需要執(zhí)行指定任務(wù)時(shí)，根據(jù)所述指定任務(wù)從所述disruptor組件中獲取指定源數(shù)據(jù)；其中，所述指定任務(wù)為用戶輸入的任務(wù)，不同所述指定任務(wù)對(duì)應(yīng)不同的業(yè)務(wù)；

將所述指定源數(shù)據(jù)進(jìn)行過濾處理，得到已處理數(shù)據(jù)；

依據(jù)所述指定任務(wù)將所述已處理數(shù)據(jù)存入至與所述指定任務(wù)對(duì)應(yīng)的目標(biāo)庫，每一目標(biāo)庫對(duì)應(yīng)一業(yè)務(wù)系統(tǒng)。

進(jìn)一步地，所述識(shí)別所述源數(shù)據(jù)的數(shù)據(jù)類型，并按照對(duì)應(yīng)所述源數(shù)據(jù)的數(shù)據(jù)類型的輸入方式將所述源數(shù)據(jù)輸入至disruptor組件，不同數(shù)據(jù)類型對(duì)應(yīng)不同的輸入方式的步驟，包括：

識(shí)別所述源數(shù)據(jù)的數(shù)據(jù)類型；

當(dāng)識(shí)別出所述源數(shù)據(jù)為關(guān)系性數(shù)據(jù)庫的數(shù)據(jù)時(shí)，則通過JDBC程序?qū)⑺鲈磾?shù)據(jù)寫入到disruptor組件中；

當(dāng)識(shí)別出所述源數(shù)據(jù)為非關(guān)系性數(shù)據(jù)庫的數(shù)據(jù)時(shí)，則API接口將所述源數(shù)據(jù)輸入到disruptor組件中；

當(dāng)識(shí)別出所述源數(shù)據(jù)為日志數(shù)據(jù)時(shí)，則通過http斷點(diǎn)續(xù)傳方式將所述源數(shù)據(jù)輸入到disruptor組件中。

進(jìn)一步地，所述依據(jù)所述指定任務(wù)將所述已處理數(shù)據(jù)存入至與所述指定任務(wù)對(duì)應(yīng)的目標(biāo)庫，每一目標(biāo)庫對(duì)應(yīng)一業(yè)務(wù)系統(tǒng)的步驟，包括：

判斷所述已處理數(shù)據(jù)是否為數(shù)據(jù)表；

若是，則依據(jù)所述數(shù)據(jù)表中各個(gè)字段的的屬性，將所述數(shù)據(jù)表拆分，并分別存儲(chǔ)至對(duì)應(yīng)的區(qū)域；