[發明專利]關系型數據庫到Hadoop數據庫的結構同步方法和裝置

在審

• 申請號: 201910341135.7
• 申請日: 2019-04-25
• 公開（公告）號: CN110245145A
• 公開（公告）日: 2019-09-17
• 發明（設計）人: 劉浩
• 申請（專利權）人: 深圳壹賬通智能科技有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/27
• 代理公司: 北京中強智尚知識產權代理有限公司 11448
• 代理人: 黃耀威

1.一種關系型數據庫到Hadoop數據庫的結構同步方法，其特征在于，所述方法包括：

確定待同步的業務方的關系型數據庫的種類；

確定針對所述種類的關系型數據庫進行結構同步所需的數據源信息；

根據所述數據源信息，連接所述待同步的業務方的關系型數據庫，并從連接到的關系型數據庫中提取元數據信息；

將所述元數據信息轉化為數據管控平臺中Hadoop數據庫的預設標準表結構，并將所述待同步的業務方的關系型數據庫與所述Hadoop數據庫之間的字段映射關系存儲至預設映射表中；

周期性監測所述待同步的業務方的關系型數據庫的表結構是否發生變化，若表結構發生變化，則對所述元數據信息所轉化成的所述預設標準表結構和所述預設映射表進行更新。

2.根據權利要求1所述的方法，其特征在于，還包括：

將所述數據源信息和/或所述元數據信息存儲至所述數據管控平臺的預設中間庫中。

3.根據權利要求1所述的方法，其特征在于，所述連接所述待同步的業務方的關系型數據庫之前，所述方法還包括：

根據所述數據源信息，對所述待同步的業務方的關系型數據庫進行有效性驗證，在驗證通過后，允許執行所述連接所述待同步的業務方的關系型數據庫的步驟。

4.根據權利要求3所述的方法，其特征在于，所述對所述待同步的業務方的關系型數據庫進行有效性驗證，包括：

根據所述數據源信息，判斷所述數據管控平臺中是否存儲有所述數據源信息；若未存儲有所述數據源信息，則根據所述數據源信息，嘗試性連接所述待同步的業務方的關系型數據庫，若嘗試性連接成功，則驗證通過。

5.根據權利要求1所述的方法，其特征在于，所述預設標準表結構包括身份字段和信息字段；對應的，所述將所述元數據信息轉化為數據管控平臺中Hadoop數據庫的預設標準表結構，包括：將所述元數據信息中的主鍵字段存儲至所述預設標準表結構的所述身份字段，將所述元數據信息中的其余字段存儲至所述預設標準表結構的所述信息字段，且所述其余字段以關鍵詞/對應數值的方式存儲至所述信息字段中。

6.根據權利要求1所述的方法，其特征在于，所述確定待同步的業務方的關系型數據庫的種類，包括：

響應于預設選擇界面中任意一個關系型數據庫種類選項的選擇，將被選擇的關系型數據庫種類選項對應的關系型數據庫種類作為所述待同步的業務方的關系型數據庫的種類，所述選擇界面中設置有多個關系型數據庫種類選項。

7.根據權利要求6所述的方法，其特征在于，所述確定針對所述種類的關系型數據庫進行結構同步所需的數據源信息，包括：

在確定待同步的業務方的關系型數據庫的種類后，提供一所述種類對應的信息錄入界面，以供用戶錄入對應的數據源信息；將所述信息錄入界面上被錄入的數據源信息作為針對所述種類的關系型數據庫進行結構同步所需的數據源信息。

8.一種關系型數據庫到Hadoop數據庫的結構同步裝置，其特征在于，所述裝置包括：

第一確定模塊，用于確定待同步的業務方的關系型數據庫的種類；

第二確定模塊，用于確定針對所述種類的關系型數據庫進行結構同步所需的數據源信息；

數據提取模塊，用于根據所述數據源信息，連接所述待同步的業務方的關系型數據庫，并從連接到的關系型數據庫中提取元數據信息；

結構轉化模塊，用于將所述元數據信息轉化為數據管控平臺中Hadoop數據庫的預設標準表結構，并將所述待同步的業務方的關系型數據庫與所述Hadoop數據庫之間的字段映射關系存儲至預設映射表中；

變化監測模塊，用于周期性監測所述待同步的業務方的關系型數據庫的表結構是否發生變化，若表結構發生變化，則對所述元數據信息所轉化成的所述預設標準表結構和所述預設映射表進行更新。