[發(fā)明專利]一種多數據流管理方法、系統(tǒng)、引擎及存儲介質

在審

• 申請?zhí)枺?/td>: 202210307456.7
• 申請日: 2022-03-25
• 公開（公告）號: CN114661717A
• 公開（公告）日: 2022-06-24
• 發(fā)明（設計）人: 葛丁佳
• 申請（專利權）人: 上海精鯤計算機科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/23;G06F16/25
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 郭德霞

1.一種多數據流管理方法，其特征在于，包括：

確定當前數據源數據的數據結構信息；

根據所述數據結構信息創(chuàng)建所述當前數據源數據的元數據庫和業(yè)務數據庫；

根據所述元數據庫中的元數據以及所述當前數據源數據對應的業(yè)務場景，對當前數據源數據的數據結構進行入庫定義，并將入庫定義后的當前數據源數據導入所述業(yè)務數據庫。

2.根據權利要求1所述的方法，其特征在于，所述提取當前數據源數據的數據結構信息之前，還包括：

確定當前數據源是否為新接入的數據源，若是，則在數據管理層完成所述當前數據源的初始定義。

3.根據權利要求1所述的方法，其特征在于，在所述根據所述數據結構信息創(chuàng)建所述當前數據源數據的元數據庫和業(yè)務數據庫之前，還包括：

確定當前數據源數據的數據結構信息；

根據所述當前數據源數據的數據結構信息以及預先定義的數據結構信息與采集方法之間的對應關系，確定所述當前數據源的采集方法，并采用該采集方法采集所述當前數據源的數據以得到當前數據源數據；

將所述數據結構信息作為當前數據源數據的數據結構信息。

4.根據權利要求1所述的方法，其特征在于，在所述根據所述數據結構信息創(chuàng)建所述當前數據源數據的元數據庫和業(yè)務數據庫之前，還包括：

確定當前數據源數據的數據結構信息；

根據所述當前數據源數據的數據結構信息，當前數據源數據對應的業(yè)務場景以及預先定義的數據結構信息-業(yè)務場景-采集方法之間的對應關系，確定所述當前數據源的采集方法，并采用該采集方法采集所述當前數據源的數據以得到當前數據源數據；

將所述數據結構信息作為當前數據源數據的數據結構信息。

5.根據權利要求1所述的方法，其特征在于，所述根據所述元數據庫中的元數據以及所述當前數據源數據對應的業(yè)務場景，對當前數據源數據的數據結構進行入庫定義，包括：

確定所述當前數據源數據對應的業(yè)務場景所需的業(yè)務數據結構；

根據所述元數據庫中的元數據與數據管理層中其他數據源數據的元數據之間的屬性關系以及所述業(yè)務數據結構，調整當前數據源數據的數據結構以完成當前數據源數據的入庫定義。

6.根據權利要求1所述的方法，其特征在于，還包括：

通過數據流管道實時監(jiān)聽所述當前數據源數據的傳輸，并在監(jiān)聽到所述當前數據源數據在任一傳輸節(jié)點的傳輸狀態(tài)發(fā)生變化時，同步當前數據源數據在每個傳輸節(jié)點的處理策略。

7.根據權利要求1-6任一所述的方法，其特征在于，所述調整當前數據源數據的數據結構以完成當前數據源數據的入庫定義之后，還包括：

如果所述業(yè)務數據結構或入庫定義后的數據結構發(fā)生了改變，則根據改變結果調整采集方法庫中當前數據源對應的數據結構信息的采集方法；

采用調整后的當前數據源數據的采集方法采集當前數據源的數據以得到當前數據源數據。

8.一種多數據流管理系統(tǒng)，其特征在于，包括：

數據結構信息確定模塊，用于確定當前數據源數據的數據結構信息；

數據庫創(chuàng)建模塊，用于根據所述數據結構信息創(chuàng)建所述當前數據源數據的元數據庫和業(yè)務數據庫；

數據導入模塊，用于根據所述元數據庫中的元數據以及所述當前數據源數據對應的業(yè)務場景，對當前數據源數據的數據結構進行入庫定義，并將入庫定義后的當前數據源數據導入所述業(yè)務數據庫。

9.一種引擎，其特征在于，所述引擎包括：

一個或多個處理器；

存儲裝置，用于存儲一個或多個應用系統(tǒng)；

當所述一個或多個應用系統(tǒng)被所述一個或多個處理器執(zhí)行，使得所述一個或多個處理器實現如權利要求1-7中任一所述的一種多數據流管理方法。

10.一種包含計算機可執(zhí)行指令的存儲介質，其特征在于，所述計算機可執(zhí)行指令在由計算機處理器執(zhí)行時用于執(zhí)行如權利要求1-7中任一所述的一種多數據流管理方法。