[發明專利]一種流式數據的治理方法、裝置、電子設備和存儲介質

在審

• 申請號: 201911404985.3
• 申請日: 2019-12-30
• 公開（公告）號: CN113128805A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 周娜;徐文貴;王獅;劉曉龍;徐皓
• 申請（專利權）人: 北京奇虎科技有限公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06
• 代理公司: 北京恒博知識產權代理有限公司 11528
• 代理人: 范勝祥

本發明公開了一種流式數據的治理方法、裝置、電子設備和存儲介質。所述方法包括：響應于流式資產的創建請求，提供流式資產模型的配置界面；通過所述配置界面接收流式資產配置信息，根據所述流式資產配置信息創建與指定流式數據源對應的流式資產模型；所述流式資產配置信息至少包括指定流式數據源的訪問配置信息；根據所述流式資產模型響應數據資產管理請求。其有益效果在于，可結合流式資產配置信息，通過流式資產模型實現對流式數據資產的綜合管理，可以有效提升流式資產管理的工作效率，提高對數量龐大的流式資產的管理水平和質量控制水平。

技術領域

本發明涉及數據資產領域，具體涉及一種流式數據的治理方法、裝置、電子設備和存儲介質。

背景技術

隨著信息技術的發展，市場主體在日常經營中積累了大量的與資產與交易緊密關聯的數據，并呈現將進一步擴增的趨勢。但從數據質量上來看，數據質量往往呈現參差不齊的特點,有的甚至無法進行數據質量評估。數據資產的有效管理和質量維護可以充分利用和挖掘數據價值，進而提升企業競爭力。因此為了提高數據資產的價值和管理水平，需要從字段級別、表級別規則，對數據質量進行評估以幫助用戶了解資產的質量情況，根據質量評估情況，再針對性對數據進行打點調整，清洗，優化等數據處理工作。但是現有技術方案對流式數據資產的管理效率低下、效果不佳，導致流式數據質量參差不齊,不能充分利用流式數據資產的價值。

發明內容

鑒于上述問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的一種流式數據的治理方法、裝置、電子設備和存儲介質。

依據本發明的一個方面，提供了一種流式數據的治理方法，包括：

響應于流式資產的創建請求，提供流式資產模型的配置界面；

通過所述配置界面接收流式資產配置信息，根據所述流式資產配置信息創建與指定流式數據源對應的流式資產模型；所述流式資產配置信息至少包括指定流式數據源的訪問配置信息；

根據所述流式資產模型響應數據資產管理請求。

可選地，所述訪問配置信息包括如下的至少一種：

集群信息，賬號信息，存儲信息。

可選地，所述流式資產配置信息還包括如下至少一項的模型基本信息：

模型名稱，模型類別，安全級別，模型實體，實體數據源的數據結構，實體數據源的業務表類型，模型標簽，模型描述信息。

可選地，所述流式資產配置信息包括如下至少一項的字段配置信息：

字段物理名稱，字段邏輯名稱，數據類型，長度，精度，默認值，是否允許為空，是否應用數據元素，數據標識、字段描述信息。

可選地，所述流式資產配置信息包括模型生命周期信息；

所述模型生命周期信息包括：以模型生命周期執行如下的至少一種模型操作：暫不處理、數據歸檔、數據清理。

可選地，所述流式資產配置信息包括數據安全配置信息；

所述根據所述流式資產模型響應數據資產管理請求包括：響應于數據資產預覽請求，根據流式資產模型從實體數據源中讀取相應的數據，根據所述數據安全配置信息對讀取的數據進行安全處理后再展示。

可選地，所述流式資產配置信息包括數據解析配置信息，所述根據所述流式資產模型響應數據資產管理請求包括：

響應于數據資產預覽請求，根據所述流式資產模型對實體數據源中的數據進行解析，展示解析結果。

可選地，所述流式資產配置信息包括質量稽核配置信息，所述根據所述流式資產模型響應數據資產管理請求包括：

響應于質量稽核請求，根據所述流式資產模型對實體數據源中的數據進行質量稽核。