[發(fā)明專(zhuān)利]關(guān)系型數(shù)據(jù)庫(kù)到Hadoop數(shù)據(jù)庫(kù)的結(jié)構(gòu)同步方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201910341135.7
• 申請(qǐng)日: 2019-04-25
• 公開(kāi)（公告）號(hào): CN110245145A
• 公開(kāi)（公告）日: 2019-09-17
• 發(fā)明（設(shè)計(jì)）人: 劉浩
• 申請(qǐng)（專(zhuān)利權(quán)）人: 深圳壹賬通智能科技有限公司
• 主分類(lèi)號(hào): G06F16/23
• 分類(lèi)號(hào): G06F16/23;G06F16/27
• 代理公司: 北京中強(qiáng)智尚知識(shí)產(chǎn)權(quán)代理有限公司 11448
• 代理人: 黃耀威

本申請(qǐng)涉及一種關(guān)系型數(shù)據(jù)庫(kù)到Hadoop數(shù)據(jù)庫(kù)的結(jié)構(gòu)同步方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)，方法包括：確定待同步的業(yè)務(wù)方的關(guān)系型數(shù)據(jù)庫(kù)的種類(lèi)；確定數(shù)據(jù)源信息；連接待同步的業(yè)務(wù)方的關(guān)系型數(shù)據(jù)庫(kù)，并從連接到的關(guān)系型數(shù)據(jù)庫(kù)中提取元數(shù)據(jù)信息；將元數(shù)據(jù)信息轉(zhuǎn)化為數(shù)據(jù)管控平臺(tái)中Hadoop數(shù)據(jù)庫(kù)的預(yù)設(shè)標(biāo)準(zhǔn)表結(jié)構(gòu)，并將待同步的業(yè)務(wù)方的關(guān)系型數(shù)據(jù)庫(kù)與Hadoop數(shù)據(jù)庫(kù)之間的字段映射關(guān)系存儲(chǔ)至預(yù)設(shè)映射表中；周期性監(jiān)測(cè)待同步的業(yè)務(wù)方的關(guān)系型數(shù)據(jù)庫(kù)的表結(jié)構(gòu)是否發(fā)生變化，若表結(jié)構(gòu)發(fā)生變化，則對(duì)元數(shù)據(jù)信息所轉(zhuǎn)化成的預(yù)設(shè)標(biāo)準(zhǔn)表結(jié)構(gòu)和預(yù)設(shè)映射表進(jìn)行更新。本申請(qǐng)可將關(guān)系型數(shù)據(jù)庫(kù)的表結(jié)同步至Hadoop數(shù)據(jù)庫(kù)的預(yù)設(shè)標(biāo)準(zhǔn)表結(jié)構(gòu)中，即同步到統(tǒng)一的標(biāo)準(zhǔn)表結(jié)構(gòu)，便于運(yùn)維管理。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)處理技術(shù)領(lǐng)域，特別是涉及一種關(guān)系型數(shù)據(jù)庫(kù)到Hadoop數(shù)據(jù)庫(kù)的結(jié)構(gòu)同步方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)

在關(guān)系型數(shù)據(jù)庫(kù)到Hadoop數(shù)據(jù)庫(kù)(即HadoopDatabase，簡(jiǎn)稱(chēng)Hbase)的同步過(guò)程中，結(jié)構(gòu)同步是第一步，所謂的結(jié)構(gòu)同步是指將業(yè)務(wù)方的元數(shù)據(jù)同步至數(shù)據(jù)管控平臺(tái)中。

在對(duì)相關(guān)技術(shù)研究過(guò)程中，發(fā)明人發(fā)現(xiàn)：傳統(tǒng)做法是手工同步，即先將關(guān)系型數(shù)據(jù)庫(kù)的結(jié)構(gòu)導(dǎo)出，再手工轉(zhuǎn)化為Hbase的建表語(yǔ)句執(zhí)行，這種手工同步方案往往存在很多弊端，例如，轉(zhuǎn)化后的Hbase結(jié)構(gòu)不標(biāo)準(zhǔn)(例如，字段過(guò)多)，導(dǎo)致兩數(shù)據(jù)庫(kù)結(jié)構(gòu)的映射關(guān)系維護(hù)困難。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供一種關(guān)系型數(shù)據(jù)庫(kù)到Hadoop數(shù)據(jù)庫(kù)的結(jié)構(gòu)同步方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)，可以關(guān)系型數(shù)據(jù)庫(kù)的表結(jié)同步至Hadoop數(shù)據(jù)庫(kù)中的預(yù)設(shè)標(biāo)準(zhǔn)表結(jié)構(gòu)中，即同步到統(tǒng)一的標(biāo)準(zhǔn)表結(jié)構(gòu)，便于運(yùn)維管理

本申請(qǐng)實(shí)施例提供一種關(guān)系型數(shù)據(jù)庫(kù)到Hadoop數(shù)據(jù)庫(kù)的結(jié)構(gòu)同步方法，所述方法包括：

確定待同步的業(yè)務(wù)方的關(guān)系型數(shù)據(jù)庫(kù)的種類(lèi)；

確定針對(duì)所述種類(lèi)的關(guān)系型數(shù)據(jù)庫(kù)進(jìn)行結(jié)構(gòu)同步所需的數(shù)據(jù)源信息；

根據(jù)所述數(shù)據(jù)源信息，連接所述待同步的業(yè)務(wù)方的關(guān)系型數(shù)據(jù)庫(kù)，并從連接到的關(guān)系型數(shù)據(jù)庫(kù)中提取元數(shù)據(jù)信息；

將所述元數(shù)據(jù)信息轉(zhuǎn)化為數(shù)據(jù)管控平臺(tái)中Hadoop數(shù)據(jù)庫(kù)的預(yù)設(shè)標(biāo)準(zhǔn)表結(jié)構(gòu)，并將所述待同步的業(yè)務(wù)方的關(guān)系型數(shù)據(jù)庫(kù)與所述Hadoop數(shù)據(jù)庫(kù)之間的字段映射關(guān)系存儲(chǔ)至預(yù)設(shè)映射表中；

周期性監(jiān)測(cè)所述待同步的業(yè)務(wù)方的關(guān)系型數(shù)據(jù)庫(kù)的表結(jié)構(gòu)是否發(fā)生變化，若表結(jié)構(gòu)發(fā)生變化，則對(duì)所述元數(shù)據(jù)信息所轉(zhuǎn)化成的所述預(yù)設(shè)標(biāo)準(zhǔn)表結(jié)構(gòu)和所述預(yù)設(shè)映射表進(jìn)行更新。

在一些實(shí)施例中，所述方法還包括：

將所述數(shù)據(jù)源信息和/或所述元數(shù)據(jù)信息存儲(chǔ)至所述數(shù)據(jù)管控平臺(tái)的預(yù)設(shè)中間庫(kù)中。

在一些實(shí)施例中，所述連接所述待同步的業(yè)務(wù)方的關(guān)系型數(shù)據(jù)庫(kù)之前，所述方法還包括：

根據(jù)所述數(shù)據(jù)源信息，對(duì)所述待同步的業(yè)務(wù)方的關(guān)系型數(shù)據(jù)庫(kù)進(jìn)行有效性驗(yàn)證，在驗(yàn)證通過(guò)后，允許執(zhí)行所述連接所述待同步的業(yè)務(wù)方的關(guān)系型數(shù)據(jù)庫(kù)的步驟。

在一些實(shí)施例中，所述對(duì)所述待同步的業(yè)務(wù)方的關(guān)系型數(shù)據(jù)庫(kù)進(jìn)行有效性驗(yàn)證，包括：

根據(jù)所述數(shù)據(jù)源信息，判斷所述數(shù)據(jù)管控平臺(tái)中是否存儲(chǔ)有所述數(shù)據(jù)源信息；若未存儲(chǔ)有所述數(shù)據(jù)源信息，則根據(jù)所述數(shù)據(jù)源信息，嘗試性連接所述待同步的業(yè)務(wù)方的關(guān)系型數(shù)據(jù)庫(kù)，若嘗試性連接成功，則驗(yàn)證通過(guò)。

在一些實(shí)施例中，所述預(yù)設(shè)標(biāo)準(zhǔn)表結(jié)構(gòu)包括身份字段和信息字段；對(duì)應(yīng)的，所述將所述元數(shù)據(jù)信息轉(zhuǎn)化為數(shù)據(jù)管控平臺(tái)中Hadoop數(shù)據(jù)庫(kù)的預(yù)設(shè)標(biāo)準(zhǔn)表結(jié)構(gòu)，包括：將所述元數(shù)據(jù)信息中的主鍵字段存儲(chǔ)至所述預(yù)設(shè)標(biāo)準(zhǔn)表結(jié)構(gòu)的所述身份字段，將所述元數(shù)據(jù)信息中的其余字段存儲(chǔ)至所述預(yù)設(shè)標(biāo)準(zhǔn)表結(jié)構(gòu)的所述信息字段，且所述其余字段以關(guān)鍵詞/對(duì)應(yīng)數(shù)值的方式存儲(chǔ)至所述信息字段中。