[發(fā)明專利]一種實現(xiàn)定制化數(shù)據(jù)的方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201810021483.1
• 申請日: 2018-01-10
• 公開（公告）號: CN108388571A
• 公開（公告）日: 2018-08-10
• 發(fā)明（設計）人: 成守權
• 申請（專利權）人: 北京思特奇信息技術股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京輕創(chuàng)知識產(chǎn)權代理有限公司 11212
• 代理人: 楊立

1.一種實現(xiàn)定制化數(shù)據(jù)的方法，其特征在于，所述方法包括：

對采集到的初始數(shù)據(jù)源進行預處理，得到數(shù)據(jù)源；

根據(jù)所述數(shù)據(jù)源的落地方式將所述數(shù)據(jù)源存儲至與所述數(shù)據(jù)源對應的第一數(shù)據(jù)模板中；

根據(jù)所述數(shù)據(jù)源的定制化需求對所述第一數(shù)據(jù)模板中的數(shù)據(jù)源進行定制化配置，得到定制化數(shù)據(jù)。

2.根據(jù)權利要求1所述的一種實現(xiàn)定制化數(shù)據(jù)的方法，其特征在于，所述方法還包括：

根據(jù)多個所述定制化數(shù)據(jù)確定多數(shù)據(jù)源數(shù)據(jù)；

根據(jù)加載需求對所述定制化數(shù)據(jù)和/或多數(shù)據(jù)源數(shù)據(jù)進行配置，得到對應的加載數(shù)據(jù)。

3.根據(jù)權利要求2所述的一種實現(xiàn)定制化數(shù)據(jù)的方法，其特征在于，所述方法還包括：

根據(jù)所述加載數(shù)據(jù)動態(tài)調(diào)整線程，并根據(jù)調(diào)整后的線程對所述加載數(shù)據(jù)進行加載。

4.根據(jù)權利要求2或3所述的一種實現(xiàn)定制化數(shù)據(jù)的方法，其特征在于，所述對所述定制化數(shù)據(jù)進行配置，得到所述定制化數(shù)據(jù)對應的加載數(shù)據(jù)之前，所述方法還包括：

根據(jù)待加載數(shù)據(jù)確定處理字段；

根據(jù)所述處理字段選取作用于所述制定化數(shù)據(jù)的處理規(guī)則，其中，

所述對所述定制化數(shù)據(jù)進行配置，得到所述定制化數(shù)據(jù)對應的加載數(shù)據(jù)，具體包括：

當所述制定化數(shù)據(jù)通過所述處理規(guī)則中的校驗子規(guī)則的校驗時，對所述定制化數(shù)據(jù)進行配置，得到所述定制化數(shù)據(jù)對應的加載數(shù)據(jù)。

5.根據(jù)權利要求1-3中任一項所述的一種實現(xiàn)定制化數(shù)據(jù)的方法，其特征在于，所述方法還包括：

當沒有與所述數(shù)據(jù)源對應的所述第一數(shù)據(jù)模板時，則根據(jù)所述數(shù)據(jù)源建立與其對應的第二數(shù)據(jù)模板。

6.一種實現(xiàn)定制化數(shù)據(jù)的系統(tǒng)，其特征在于，所述系統(tǒng)包括：

采集引擎：用于對采集到的初始數(shù)據(jù)源進行預處理，得到數(shù)據(jù)源；

數(shù)據(jù)加工引擎：用于根據(jù)所述數(shù)據(jù)源的落地方式將所述數(shù)據(jù)源存儲至與所述數(shù)據(jù)源對應的第一數(shù)據(jù)模板中；

格式配置器：用于根據(jù)所述數(shù)據(jù)源的定制化需求對所述第一數(shù)據(jù)模板中的數(shù)據(jù)源進行定制化配置，得到定制化數(shù)據(jù)。

7.根據(jù)權利要求6所述的一種實現(xiàn)定制化數(shù)據(jù)的系統(tǒng)，其特征在于，所述系統(tǒng)還包括：

數(shù)據(jù)清洗加工引擎：用于根據(jù)多個所述定制化數(shù)據(jù)確定多數(shù)據(jù)源數(shù)據(jù)，并根據(jù)加載需求對所述定制化數(shù)據(jù)和/或多數(shù)據(jù)源數(shù)據(jù)進行配置，得到對應的加載數(shù)據(jù)。

8.根據(jù)權利要求7所述的一種實現(xiàn)定制化數(shù)據(jù)的系統(tǒng)，其特征在于，所述系統(tǒng)還包括：

數(shù)據(jù)加載引擎：用于根據(jù)所述加載數(shù)據(jù)動態(tài)調(diào)整線程，并根據(jù)調(diào)整后的線程對所述加載數(shù)據(jù)進行加載。

9.根據(jù)權利要求7或8所述的一種實現(xiàn)定制化數(shù)據(jù)的系統(tǒng)，其特征在于，所述數(shù)據(jù)清洗加工引擎具體用于：

根據(jù)目標數(shù)據(jù)確定處理字段；

根據(jù)所述處理字段選取作用于所述制定化數(shù)據(jù)的處理規(guī)則；

當所述制定化數(shù)據(jù)通過所述處理規(guī)則中的校驗子規(guī)則時，則對所述定制化數(shù)據(jù)進行配置，得到所述制定化數(shù)據(jù)對應的加載數(shù)據(jù)。

10.根據(jù)權利要求6-9中任一項所述的一種實現(xiàn)定制化數(shù)據(jù)的系統(tǒng)，其特征在于，所述數(shù)據(jù)加工引擎還用于：

當沒有與所述數(shù)據(jù)源對應的所述第一數(shù)據(jù)模板時，則根據(jù)所述數(shù)據(jù)源建立與其對應的第二數(shù)據(jù)模板。