[發(fā)明專利]一種多數(shù)據(jù)流管理方法、系統(tǒng)、引擎及存儲介質

在審

• 申請?zhí)枺?/td>: 202210307456.7
• 申請日: 2022-03-25
• 公開（公告）號: CN114661717A
• 公開（公告）日: 2022-06-24
• 發(fā)明（設計）人: 葛丁佳
• 申請（專利權）人: 上海精鯤計算機科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/23;G06F16/25
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 郭德霞

本發(fā)明實施例公開了一種多數(shù)據(jù)流管理方法、系統(tǒng)、引擎及存儲介質，該方法包括：確定當前數(shù)據(jù)源數(shù)據(jù)的數(shù)據(jù)結構信息；根據(jù)所述數(shù)據(jù)結構信息創(chuàng)建所述當前數(shù)據(jù)源數(shù)據(jù)的元數(shù)據(jù)庫和業(yè)務數(shù)據(jù)庫；根據(jù)所述元數(shù)據(jù)庫中的元數(shù)據(jù)以及所述當前數(shù)據(jù)源數(shù)據(jù)對應的業(yè)務場景，對當前數(shù)據(jù)源數(shù)據(jù)的數(shù)據(jù)結構進行入庫定義，并將入庫定義后的當前數(shù)據(jù)源數(shù)據(jù)導入所述業(yè)務數(shù)據(jù)庫。解決了現(xiàn)有多數(shù)據(jù)流管理方法無法滿足實時性要求的問題。

技術領域

本發(fā)明實施例涉及多數(shù)據(jù)流管理領域，尤其涉及一種多數(shù)據(jù)流管理方法、系統(tǒng)、引擎及存儲介質。

背景技術

隨著數(shù)字化的進行，當今社會各行各業(yè)都會產(chǎn)生大量的數(shù)據(jù)，這些數(shù)據(jù)往往結構不同，而且冗余程度較高，數(shù)據(jù)使用難度較高。

現(xiàn)有數(shù)據(jù)集成方法包括抽取、轉換、降維和集成，方案修改時間長，這樣一旦數(shù)據(jù)源傳輸?shù)哪硞€環(huán)節(jié)發(fā)生了變化，便需要重新修改方案，無法滿足生產(chǎn)環(huán)境中的實時性要求。

本申請人在實現(xiàn)本發(fā)明實施例的過程中發(fā)現(xiàn)，現(xiàn)有多數(shù)據(jù)流管理方法至少存在無法滿足實時性的要求。

發(fā)明內容

本發(fā)明實施例提供了一種多數(shù)據(jù)流管理方法、系統(tǒng)、引擎及存儲介質，解決了現(xiàn)有多數(shù)據(jù)流管理方法無法滿足實時性要求的問題。

第一方面，本發(fā)明實施例提供了一種多數(shù)據(jù)流管理方法，該方法包括：

根據(jù)所述數(shù)據(jù)源結構信息創(chuàng)建可選地，所述提取當前數(shù)據(jù)源數(shù)據(jù)的數(shù)據(jù)結構信息之前，還包括：

確定當前數(shù)據(jù)源是否為新接入的數(shù)據(jù)源，若是，則在數(shù)據(jù)管理層完成所述當前數(shù)據(jù)源的初始定義。

可選地，在所述根據(jù)所述數(shù)據(jù)結構信息創(chuàng)建所述當前數(shù)據(jù)源數(shù)據(jù)的元數(shù)據(jù)庫和業(yè)務數(shù)據(jù)庫之前，還包括：

確定當前數(shù)據(jù)源數(shù)據(jù)的數(shù)據(jù)結構信息；

根據(jù)所述當前數(shù)據(jù)源數(shù)據(jù)的數(shù)據(jù)結構信息以及預先定義的數(shù)據(jù)結構信息與采集方法之間的對應關系，確定所述當前數(shù)據(jù)源的采集方法，并采用該采集方法采集所述當前數(shù)據(jù)源的數(shù)據(jù)以得到當前數(shù)據(jù)源數(shù)據(jù)；

將所述數(shù)據(jù)結構信息作為當前數(shù)據(jù)源數(shù)據(jù)的數(shù)據(jù)結構信息。

可選地，在所述根據(jù)所述數(shù)據(jù)結構信息創(chuàng)建所述當前數(shù)據(jù)源數(shù)據(jù)的元數(shù)據(jù)庫和業(yè)務數(shù)據(jù)庫之前，還包括：

確定當前數(shù)據(jù)源數(shù)據(jù)的數(shù)據(jù)結構信息；

根據(jù)所述當前數(shù)據(jù)源數(shù)據(jù)的數(shù)據(jù)結構信息，當前數(shù)據(jù)源數(shù)據(jù)對應的業(yè)務場景以及預先定義的數(shù)據(jù)結構信息-業(yè)務場景-采集方法之間的對應關系，確定所述當前數(shù)據(jù)源的采集方法，并采用該采集方法采集所述當前數(shù)據(jù)源的數(shù)據(jù)以得到當前數(shù)據(jù)源數(shù)據(jù)；

將所述數(shù)據(jù)結構信息作為當前數(shù)據(jù)源數(shù)據(jù)的數(shù)據(jù)結構信息。

可選地，所述根據(jù)所述元數(shù)據(jù)庫中的元數(shù)據(jù)以及所述當前數(shù)據(jù)源數(shù)據(jù)對應的業(yè)務場景，對當前數(shù)據(jù)源數(shù)據(jù)的數(shù)據(jù)結構進行入庫定義，包括：

確定所述當前數(shù)據(jù)源數(shù)據(jù)對應的業(yè)務場景所需的業(yè)務數(shù)據(jù)結構；

根據(jù)所述元數(shù)據(jù)庫中的元數(shù)據(jù)與數(shù)據(jù)管理層中其他數(shù)據(jù)源數(shù)據(jù)的元數(shù)據(jù)之間的屬性關系以及所述業(yè)務數(shù)據(jù)結構，調整當前數(shù)據(jù)源數(shù)據(jù)的數(shù)據(jù)結構以完成當前數(shù)據(jù)源數(shù)據(jù)的入庫定義。

可選地，該方法還包括：

通過數(shù)據(jù)流管道實時監(jiān)聽所述當前數(shù)據(jù)源數(shù)據(jù)的傳輸，并在監(jiān)聽到所述當前數(shù)據(jù)源數(shù)據(jù)在任一傳輸節(jié)點的傳輸狀態(tài)發(fā)生變化時，同步當前數(shù)據(jù)源數(shù)據(jù)在每個傳輸節(jié)點的處理策略。

可選地，所述調整當前數(shù)據(jù)源數(shù)據(jù)的數(shù)據(jù)結構以完成當前數(shù)據(jù)源數(shù)據(jù)的入庫定義之后，還包括：

如果所述業(yè)務數(shù)據(jù)結構或入庫定義后的數(shù)據(jù)結構發(fā)生了改變，則根據(jù)改變結果調整采集方法庫中當前數(shù)據(jù)源對應的數(shù)據(jù)結構信息的采集方法；