[發(fā)明專利]基于自定義規(guī)則的ETL任務(wù)失敗平臺(tái)處理方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110426382.4
• 申請(qǐng)日: 2021-04-20
• 公開（公告）號(hào): CN113127467A
• 公開（公告）日: 2021-07-16
• 發(fā)明（設(shè)計(jì)）人: 孟艷冬;李武卿
• 申請(qǐng)（專利權(quán)）人: 賽諾數(shù)據(jù)科技（南京）有限公司
• 主分類號(hào): G06F16/215
• 分類號(hào): G06F16/215;G06F16/25
• 代理公司: 北京知呱呱知識(shí)產(chǎn)權(quán)代理有限公司 11577
• 代理人: 孫志一

1.基于自定義規(guī)則的ETL任務(wù)失敗平臺(tái)處理方法，其特征在于，包括以下步驟：

對(duì)數(shù)據(jù)源的質(zhì)量進(jìn)行評(píng)估，預(yù)設(shè)所述數(shù)據(jù)源的融合策略，所述數(shù)據(jù)源的融合策略包括：只補(bǔ)全但不能新增、只新增但不能修改、新增且能補(bǔ)全和新增且能修改；

根據(jù)客戶字段的特性制定客戶字段的融合策略，所述客戶字段的融合策略包括只新增但不能修改、只補(bǔ)全但不能更新、只更新但不能被清空和完全更新。

2.根據(jù)權(quán)利要求1所述的基于自定義規(guī)則的ETL任務(wù)失敗平臺(tái)處理方法，其特征在于，當(dāng)所述數(shù)據(jù)源的數(shù)據(jù)質(zhì)量低于預(yù)設(shè)指標(biāo)時(shí)，執(zhí)行所述只補(bǔ)全但不能新增的數(shù)據(jù)源的融合策略。

3.根據(jù)權(quán)利要求2所述的基于自定義規(guī)則的ETL任務(wù)失敗平臺(tái)處理方法，其特征在于，當(dāng)所述數(shù)據(jù)源的數(shù)據(jù)質(zhì)量低于已有數(shù)據(jù)時(shí)，執(zhí)行所述只新增但不能修改的數(shù)據(jù)源的融合策略。

4.根據(jù)權(quán)利要求3所述的基于自定義規(guī)則的ETL任務(wù)失敗平臺(tái)處理方法，其特征在于，所述新增且能補(bǔ)全的數(shù)據(jù)源的融合策略為：只補(bǔ)充缺少的數(shù)據(jù)字段內(nèi)容，不允許覆蓋存在數(shù)據(jù)的字段內(nèi)容。

5.根據(jù)權(quán)利要求4所述的基于自定義規(guī)則的ETL任務(wù)失敗平臺(tái)處理方法，其特征在于，當(dāng)所述數(shù)據(jù)源的數(shù)據(jù)質(zhì)量高于預(yù)設(shè)指標(biāo)時(shí)，執(zhí)行所述新增且能修改的數(shù)據(jù)源的融合策略。

6.根據(jù)權(quán)利要求5所述的基于自定義規(guī)則的ETL任務(wù)失敗平臺(tái)處理方法，其特征在于，所述只新增但不能修改的客戶字段的融合策略為：數(shù)據(jù)字段只能在進(jìn)入系統(tǒng)時(shí)設(shè)定，當(dāng)數(shù)據(jù)字段確定后不能被執(zhí)行數(shù)據(jù)更新和清除。

7.根據(jù)權(quán)利要求6所述的基于自定義規(guī)則的ETL任務(wù)失敗平臺(tái)處理方法，其特征在于，所述只補(bǔ)全但不能更新的客戶字段的融合策略為：數(shù)據(jù)字段如果缺少或空值時(shí)，允許被指定數(shù)據(jù)補(bǔ)全，數(shù)據(jù)字段有值時(shí)不能被更新。

8.根據(jù)權(quán)利要求7所述的基于自定義規(guī)則的ETL任務(wù)失敗平臺(tái)處理方法，其特征在于，所述只更新但不能被清空的客戶字段的融合策略為：數(shù)據(jù)字段允許被更新和補(bǔ)全，但數(shù)據(jù)字段不允許被清空。

9.根據(jù)權(quán)利要求8所述的基于自定義規(guī)則的ETL任務(wù)失敗平臺(tái)處理方法，其特征在于，所述完全更新的客戶字段的融合策略為：數(shù)據(jù)字段允許清空或更新。

10.基于自定義規(guī)則的ETL任務(wù)失敗平臺(tái)處理系統(tǒng)，采用權(quán)利要求1至9任一項(xiàng)所述的基于自定義規(guī)則的ETL任務(wù)失敗平臺(tái)處理方法，其特征在于，包括：

數(shù)據(jù)源融合單元，用于對(duì)數(shù)據(jù)源的質(zhì)量進(jìn)行評(píng)估，預(yù)設(shè)所述數(shù)據(jù)源的融合策略，所述數(shù)據(jù)源的融合策略包括：只補(bǔ)全但不能新增、只新增但不能修改、新增且能補(bǔ)全和新增且能修改；

客戶字段融合單元，用于根據(jù)客戶字段的特性制定客戶字段的融合策略，所述客戶字段的融合策略包括只新增但不能修改、只補(bǔ)全但不能更新、只更新但不能被清空和完全更新。