[發(fā)明專利]一種數(shù)據(jù)管理方法、系統(tǒng)、設(shè)備及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010916686.4
• 申請日: 2020-09-03
• 公開（公告）號: CN112084224A
• 公開（公告）日: 2020-12-15
• 發(fā)明（設(shè)計(jì)）人: 丁寶存;謝永恒;萬月亮
• 申請（專利權(quán)）人: 北京銳安科技有限公司
• 主分類號: G06F16/2457
• 分類號: G06F16/2457;G06F16/2458;G06F16/27
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發(fā)明公開了一種數(shù)據(jù)管理方法、裝置、設(shè)備及存儲介質(zhì)，其特征在于，由集成在實(shí)時(shí)流計(jì)算框架Flink上的數(shù)據(jù)管理系統(tǒng)執(zhí)行，包括：解析從分布式消息系統(tǒng)中所拉取的流數(shù)據(jù)，獲得各所述流數(shù)據(jù)的數(shù)據(jù)屬性信息，其中，各所述流數(shù)據(jù)具備不同數(shù)據(jù)來源；采用各所述流數(shù)據(jù)屬性信息匹配的存儲策略，將相應(yīng)的流數(shù)據(jù)通過預(yù)設(shè)的時(shí)間窗口存儲至第一指定數(shù)據(jù)庫中。本發(fā)明基于Flink框架解析不同來源的流數(shù)據(jù)，獲得流數(shù)據(jù)的數(shù)據(jù)屬性信息，根據(jù)數(shù)據(jù)屬性信息存儲至指定數(shù)據(jù)庫中，實(shí)現(xiàn)了對不同來源的流數(shù)據(jù)進(jìn)行指定存儲、快速索引和及時(shí)流量預(yù)警。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及信息技術(shù)領(lǐng)域的數(shù)據(jù)存儲技術(shù)，尤其涉及一種數(shù)據(jù)管理方法、系統(tǒng)、設(shè)備及介質(zhì)。

背景技術(shù)

隨著網(wǎng)絡(luò)技術(shù)發(fā)展，使得各行各業(yè)每秒產(chǎn)出大量連續(xù)流數(shù)據(jù)。海量數(shù)據(jù)反映了人們的日常規(guī)律，如何有效分析和處理海量流數(shù)據(jù)提取準(zhǔn)確的流數(shù)據(jù)呈現(xiàn)規(guī)律和知識，將是數(shù)據(jù)信息領(lǐng)域重要的技術(shù)手段；但海量數(shù)據(jù)具備：數(shù)據(jù)量大、數(shù)據(jù)種類和來源多樣化、增長速度快、數(shù)據(jù)準(zhǔn)確性低、數(shù)據(jù)價(jià)值密度相對較低等特性，使得流數(shù)據(jù)呈現(xiàn)規(guī)律和知識的提取并非易事。現(xiàn)有技術(shù)中海量數(shù)據(jù)存儲和索引方法中不同來源的流數(shù)據(jù)處理流程復(fù)雜、流數(shù)據(jù)處理的時(shí)效較差、也不能對海量數(shù)據(jù)處理時(shí)的流數(shù)據(jù)量進(jìn)行預(yù)警。

發(fā)明內(nèi)容

本發(fā)明提供了一種數(shù)據(jù)管理方法、系統(tǒng)、設(shè)備及介質(zhì)，以實(shí)現(xiàn)根據(jù)不同來源數(shù)據(jù)的屬性信息，對不同來源的流數(shù)據(jù)進(jìn)行指定存儲、快速索引和及時(shí)流量預(yù)警。

第一方面，本發(fā)明實(shí)施例提供了一種數(shù)據(jù)管理方法，由集成在實(shí)時(shí)流計(jì)算框架Flink上的數(shù)據(jù)管理系統(tǒng)執(zhí)行，包括：

解析從分布式消息系統(tǒng)中所拉取的流數(shù)據(jù)，獲得各所述流數(shù)據(jù)的數(shù)據(jù)屬性信息，其中，各所述流數(shù)據(jù)具備不同數(shù)據(jù)來源；

采用各所述流數(shù)據(jù)屬性信息匹配的存儲策略，將相應(yīng)的流數(shù)據(jù)通過預(yù)設(shè)的時(shí)間窗口存儲至第一指定數(shù)據(jù)庫中。

第二方面，本發(fā)明實(shí)施例還提供了一種數(shù)據(jù)管理系統(tǒng)，集成在實(shí)時(shí)流計(jì)算框架Flink上，包括：

數(shù)據(jù)解析模塊，用于解析從分布式消息系統(tǒng)中所拉取的流數(shù)據(jù)，獲得各所述流數(shù)據(jù)的數(shù)據(jù)屬性信息；

數(shù)據(jù)存儲模塊，用于采用各所述流數(shù)據(jù)屬性信息匹配的存儲策略，將相應(yīng)的流數(shù)據(jù)通過預(yù)設(shè)的時(shí)間窗口存儲至第一指定數(shù)據(jù)庫中；

其中，各所述流數(shù)據(jù)具備不同數(shù)據(jù)來源。

第三方面，本發(fā)明實(shí)施例還提供一種計(jì)算機(jī)設(shè)備，所述計(jì)算機(jī)設(shè)備包括：

一個(gè)或多個(gè)處理器；

存儲裝置，用于存儲一個(gè)或多個(gè)程序，

當(dāng)所述一個(gè)或多個(gè)程序被所述一個(gè)或多個(gè)處理器執(zhí)行，使得所述一個(gè)或多個(gè)處理器實(shí)現(xiàn)任一所述的數(shù)據(jù)管理方法。

第四方面，本發(fā)明實(shí)施例還提供了一種計(jì)算機(jī)存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)所述的數(shù)據(jù)存儲方法。

本發(fā)明通過在Flink框架上進(jìn)行數(shù)據(jù)管理，解析從分布式消息系統(tǒng)中所拉取的流數(shù)據(jù)，獲得各所述流數(shù)據(jù)的數(shù)據(jù)屬性信息，其中，各所述流數(shù)據(jù)具備不同數(shù)據(jù)來源；采用各所述流數(shù)據(jù)屬性信息匹配的存儲策略，將相應(yīng)的流數(shù)據(jù)通過預(yù)設(shè)的時(shí)間窗口存儲至第一指定數(shù)據(jù)庫中解決海量數(shù)據(jù)存儲和索引方法中不同來源的流數(shù)據(jù)處理流程復(fù)雜、流數(shù)據(jù)處理的時(shí)效較差、也不能對海量數(shù)據(jù)處理時(shí)的流數(shù)據(jù)量進(jìn)行預(yù)警等問題，實(shí)現(xiàn)了根據(jù)不同來源數(shù)據(jù)的屬性信息，對不同來源的流數(shù)據(jù)進(jìn)行指定存儲、快速索引和及時(shí)流量預(yù)警效果。

附圖說明

圖1是本發(fā)明實(shí)施例一中的一種數(shù)據(jù)管理方法的流程圖；

圖2是本發(fā)明實(shí)施例一中的一種數(shù)據(jù)管理方法的實(shí)現(xiàn)架構(gòu)示例圖；

圖3是本發(fā)明實(shí)施例二中的一種數(shù)據(jù)管理系統(tǒng)的結(jié)構(gòu)示意圖；