[發明專利]一種獲取數據源變更信息的方法和裝置

有效

• 申請號: 201610536655.X
• 申請日: 2016-07-08
• 公開（公告）號: CN107590158B
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 孟松杰
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/22;G06F16/28;G06F16/21
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;姜勁

1.一種獲取數據源變更信息的方法，其特征在于，包括：

把數據源發生了變更的業務系統的數據抽取到數據倉庫；

根據所述數據和數據倉庫中保存的元數據信息，建立所述業務系統的數據變更模型和元數據的數據流模型，所述元數據的數據流模型是通過以下方式建立的：根據所述元數據信息獲取接入數據倉庫的數據表信息及其數據源信息，然后根據獲取的數據表信息及其數據源信息建立所述元數據的數據流模型；其中，若數據源變更的類型為變更數據表結構，則所述元數據的數據流模型包括數據表的數據流模型和字段對應關系模型；若數據源變更的類型為新增數據源，則所述元數據的數據流模型為數據表所屬數據庫的數據流模型；

根據所述數據變更模型和所述元數據的數據流模型，通過對模型包括的字段進行拉鏈處理的方式建立數據源變更模型，所述數據源變更模型包括數據源變更信息。

2.根據權利要求1所述的方法，其特征在于，所述數據包括申請操作類型，并且，

在建立所述數據變更模型和元數據的數據流模型之前，所述方法還包括根據所述申請操作類型判斷所述數據源變更的類型，所述數據源變更的類型包括變更數據表結構和新增數據源。

3.根據權利要求2所述的方法，其特征在于，若所述數據源變更的類型為變更數據表結構，則所述數據變更模型為數據表結構變更模型。

4.根據權利要求3所述的方法，其特征在于，

所述數據表結構變更模型包括：服務器IP地址、數據庫類型、數據庫名、表名、表結構變更類型、變更字段名和變更后字段類型；

所述數據表的數據流模型包括表結構信息和數據倉庫中的數據流信息，其中，所述表結構信息包括：服務器IP地址、數據庫類型、數據庫名和表名，所述數據倉庫中的數據流信息包括：緩沖數據層表名、bkactive層表名、基礎數據層表名和表負責人，所述bkactive層為備份數據層；

所述字段對應關系模型包括：源數據庫類型、源數據庫字段類型和數據倉庫字段類型。

5.根據權利要求2所述的方法，其特征在于，若所述數據源變更的類型為新增數據源，則所述數據變更模型為新增數據源模型。

6.根據權利要求5所述的方法，其特征在于，

所述新增數據源模型包括：服務器IP地址、數據庫類型和新增數據庫名；

所述數據表所屬數據庫的數據流模型包括表所屬數據庫的信息、預計新增數據庫的信息和數據倉庫中的數據流信息，其中，所述表所屬數據庫的信息包括：服務器IP地址、數據庫類型、最新數據庫名和表名，預計新增數據庫的信息包括預計新增的數據庫名，數據倉庫中的數據流信息包括：緩沖數據層表名、bkactive層表名、基礎數據層表名和表負責人，所述bkactive層為備份數據層。

7.根據權利要求1所述的方法，其特征在于，還包括：通過定制郵件任務，將獲取的所述數據源變更信息發送給所述數據倉庫的表負責人，以用于根據所述數據源變更信息進行數據源的變更。

8.一種獲取數據源變更信息的裝置，其特征在于，包括：

數據抽取模塊，用于把數據源發生了變更的業務系統的數據抽取到數據倉庫；

模型建立模塊，用于根據所述數據和數據倉庫中保存的元數據信息，建立所述業務系統的數據變更模型和元數據的數據流模型，所述元數據的數據流模型是通過以下方式建立的：根據所述元數據信息獲取接入數據倉庫的數據表信息及其數據源信息，然后根據獲取的數據表信息及其數據源信息建立所述元數據的數據流模型；其中，若數據源變更的類型為變更數據表結構，則所述元數據的數據流模型包括數據表的數據流模型和字段對應關系模型；若數據源變更的類型為新增數據源，則所述元數據的數據流模型為數據表所屬數據庫的數據流模型；

變更獲取模塊，用于根據所述數據變更模型和所述元數據的數據流模型，通過對模型包括的字段進行拉鏈處理的方式建立數據源變更模型，所述數據源變更模型包括數據源變更信息。