[發(fā)明專利]一種基于分層框架的數(shù)據(jù)智能分流方法、系統(tǒng)及裝置

在審

• 申請?zhí)枺?/td>: 202111080824.0
• 申請日: 2021-09-15
• 公開（公告）號: CN113986872A
• 公開（公告）日: 2022-01-28
• 發(fā)明（設(shè)計(jì)）人: 劉祥濤
• 申請（專利權(quán)）人: 深圳番多拉信息科技有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F9/30
• 代理公司: 深圳騰文知識產(chǎn)權(quán)代理有限公司 44680
• 代理人: 王娟

本申請公開了一種基于分層框架的數(shù)據(jù)智能分流方法、系統(tǒng)、裝置以及存儲(chǔ)介質(zhì)，用于對數(shù)據(jù)進(jìn)行分流入庫，提高數(shù)據(jù)分流效率并實(shí)現(xiàn)更細(xì)粒度的數(shù)據(jù)分流。本申請方法包括：獲取目標(biāo)數(shù)據(jù)，并通過預(yù)設(shè)的分流規(guī)則、分流算法以及分流模型對所述目標(biāo)數(shù)據(jù)進(jìn)行分析，并生成分流信息；根據(jù)所述分流信息生成分流指令，并將所述分流指令傳輸至預(yù)配置的數(shù)據(jù)分層框架中的目標(biāo)分流執(zhí)行器；通過所述目標(biāo)分流執(zhí)行器根據(jù)所述分流指令在所述數(shù)據(jù)分層框架中的兩個(gè)相鄰分流層之間對所述目標(biāo)數(shù)據(jù)進(jìn)行分流，所述數(shù)據(jù)分層框架中預(yù)配置有多個(gè)分流層，所述分流層用于對數(shù)據(jù)進(jìn)行分流。

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)處理領(lǐng)域，尤其涉及一種基于分層框架的數(shù)據(jù)智能分流方法、系統(tǒng)、裝置及存儲(chǔ)介質(zhì)。

背景技術(shù)

迄今為止，全球數(shù)據(jù)存量已經(jīng)達(dá)到40ZB(1ZB＝十萬億億字節(jié)，Zettabyte)，并持續(xù)保持每2年增長約一倍的趨勢；數(shù)據(jù)具備數(shù)據(jù)產(chǎn)生源頭多、數(shù)據(jù)類型多樣、數(shù)據(jù)價(jià)值密度低等特性，為了進(jìn)行數(shù)據(jù)資產(chǎn)化和價(jià)值挖掘利用，逐步出現(xiàn)了數(shù)據(jù)倉庫(Data Warehouse)、數(shù)據(jù)湖(Data Lake)、數(shù)據(jù)中臺(Data Middle Office)、數(shù)據(jù)經(jīng)緯(Data Fabric)等數(shù)據(jù)匯聚技術(shù)，通過數(shù)據(jù)匯聚和數(shù)據(jù)分發(fā)來挖掘數(shù)據(jù)價(jià)值，從而實(shí)現(xiàn)資產(chǎn)價(jià)值化。

而由于數(shù)據(jù)類型多樣，數(shù)據(jù)需要依據(jù)其類型，在不同類型的數(shù)據(jù)存儲(chǔ)系統(tǒng)中存儲(chǔ)，例如從數(shù)據(jù)的結(jié)構(gòu)維度區(qū)分，數(shù)據(jù)可以分為結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)三種類型。為了提升數(shù)據(jù)讀寫速度，根據(jù)數(shù)據(jù)落地的底層存儲(chǔ)介質(zhì)，又可以分為內(nèi)存數(shù)據(jù)存儲(chǔ)系統(tǒng)和非內(nèi)存數(shù)據(jù)存儲(chǔ)系統(tǒng)，例如Redis、Zookeeper、Etcd是典型的內(nèi)存存儲(chǔ)系統(tǒng)。為了確保數(shù)據(jù)的去中心化、可追溯、不易篡改和無法抵賴，可以采用IPFS/Filecoin/Ethereum等區(qū)塊鏈方式存儲(chǔ)。

在將數(shù)據(jù)從數(shù)據(jù)源寫入數(shù)據(jù)存儲(chǔ)系統(tǒng)時(shí)，一般會(huì)根據(jù)業(yè)務(wù)預(yù)先確定數(shù)據(jù)特性，包括數(shù)據(jù)類型、數(shù)據(jù)生產(chǎn)速度、數(shù)據(jù)用途等，進(jìn)而根據(jù)數(shù)據(jù)特性，通過計(jì)算機(jī)程序?qū)懭胩囟〝?shù)據(jù)存儲(chǔ)系統(tǒng)。

在根據(jù)數(shù)據(jù)特性并通過計(jì)算機(jī)程序?qū)懭胩囟〝?shù)據(jù)存儲(chǔ)系統(tǒng)時(shí)，傳統(tǒng)的做法一般都是人工進(jìn)行數(shù)據(jù)特性分析，然后通過計(jì)算機(jī)編程或配置的方式，將粗粒度的數(shù)據(jù)源固化寫入特定數(shù)據(jù)存儲(chǔ)系統(tǒng)，當(dāng)業(yè)務(wù)發(fā)生變化，而需要將某數(shù)據(jù)源寫入其它數(shù)據(jù)存儲(chǔ)系統(tǒng)時(shí)，通常需要人工再次介入，進(jìn)行寫入的再次指定。這種做法存在的問題包括：需要人工介入進(jìn)行數(shù)據(jù)特性分析和計(jì)算機(jī)編程或配置；在有限人工投入的情況下，只能做到粗粒度的數(shù)據(jù)源分流，而不能進(jìn)行細(xì)粒度的數(shù)據(jù)分流；當(dāng)數(shù)據(jù)特性發(fā)生變化，而需要寫到其它數(shù)據(jù)存儲(chǔ)系統(tǒng)時(shí)，需要再次人工介入進(jìn)行特性分析和程序編程或配置，導(dǎo)致人力投入大和時(shí)效性差等問題。

發(fā)明內(nèi)容

為了解決上述技術(shù)問題，本申請?zhí)峁┝艘环N基于分層框架的數(shù)據(jù)智能分流方法、系統(tǒng)、裝置及存儲(chǔ)介質(zhì)。

本申請第一方面提供了一種基于分層框架的數(shù)據(jù)智能分流方法，所述方法包括：

獲取目標(biāo)數(shù)據(jù)，并通過預(yù)設(shè)的分流規(guī)則、分流算法以及分流模型對所述目標(biāo)數(shù)據(jù)進(jìn)行分析，并生成分流信息；

根據(jù)所述分流信息生成分流指令，并將所述分流指令傳輸至預(yù)配置的數(shù)據(jù)分層框架中的目標(biāo)分流執(zhí)行器；

通過所述目標(biāo)分流執(zhí)行器根據(jù)所述分流指令在所述數(shù)據(jù)分層框架中的兩個(gè)相鄰分流層之間對所述目標(biāo)數(shù)據(jù)進(jìn)行分流，所述數(shù)據(jù)分層框架中預(yù)配置有多個(gè)分流層，所述分流層用于對數(shù)據(jù)進(jìn)行分流。

可選的，所述數(shù)據(jù)分層框架中的多個(gè)分流層通過時(shí)間的先后關(guān)系進(jìn)行配置。

可選的，當(dāng)分流層對目標(biāo)數(shù)據(jù)進(jìn)行分流時(shí)，在所述數(shù)據(jù)分層框架中，任意一個(gè)層中的一組或者多組數(shù)據(jù)被分流至相鄰層中的一組或者多組數(shù)據(jù)中。

可選的，所述根據(jù)預(yù)設(shè)的分流規(guī)則對所述目標(biāo)數(shù)據(jù)進(jìn)行分析，并生成分流信息包括：

對所述目標(biāo)數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)進(jìn)行分析，并根據(jù)所述數(shù)據(jù)結(jié)構(gòu)生成分流信息；

或\和