[發(fā)明專利]工業(yè)數(shù)據(jù)分級(jí)存儲(chǔ)系統(tǒng)、方法及工業(yè)數(shù)據(jù)分級(jí)查詢方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110256760.9
• 申請(qǐng)日: 2021-03-10
• 公開(kāi)（公告）號(hào): CN112685454A
• 公開(kāi)（公告）日: 2021-04-20
• 發(fā)明（設(shè)計(jì)）人: 李福存;薛燦;徐發(fā)喜;張波;榮慰;楊猛;李志勇;馬超;鹿瑋
• 申請(qǐng)（專利權(quán)）人: 江蘇金恒信息科技股份有限公司
• 主分類號(hào): G06F16/2455
• 分類號(hào): G06F16/2455;G06F16/28
• 代理公司: 北京弘權(quán)知識(shí)產(chǎn)權(quán)代理有限公司 11363
• 代理人: 逯長(zhǎng)明;許偉群

本申請(qǐng)公開(kāi)了工業(yè)數(shù)據(jù)分級(jí)存儲(chǔ)系統(tǒng)、方法及工業(yè)數(shù)據(jù)分級(jí)查詢方法，該系統(tǒng)包括一級(jí)緩存模塊、二級(jí)緩存模塊及數(shù)據(jù)存儲(chǔ)模塊，不僅將設(shè)備數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)分開(kāi)存儲(chǔ)，而且根據(jù)數(shù)據(jù)的查詢時(shí)間或頻率，設(shè)置了一級(jí)緩存模塊及二級(jí)緩存模塊，實(shí)現(xiàn)了數(shù)據(jù)的分級(jí)存儲(chǔ)管理，通過(guò)將熱門(mén)點(diǎn)位及熱門(mén)業(yè)務(wù)報(bào)表存儲(chǔ)在一級(jí)緩存模塊中，進(jìn)行針對(duì)性的緩存預(yù)熱，使得用戶查詢這些高頻使用的熱門(mén)點(diǎn)位或熱門(mén)業(yè)務(wù)報(bào)表時(shí)能夠得到極快速度的響應(yīng)，大幅提升數(shù)據(jù)查詢效率。

技術(shù)領(lǐng)域

本申請(qǐng)涉及工業(yè)數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及工業(yè)數(shù)據(jù)分級(jí)存儲(chǔ)系統(tǒng)、方法及工業(yè)數(shù)據(jù)分級(jí)查詢方法。

背景技術(shù)

工業(yè)生產(chǎn)過(guò)程中，通常會(huì)生成兩種數(shù)據(jù)，一種是由各種工業(yè)設(shè)備所產(chǎn)生的設(shè)備數(shù)據(jù)，例如構(gòu)成工業(yè)設(shè)備的各組件的溫度數(shù)據(jù)、壓強(qiáng)數(shù)據(jù)或開(kāi)關(guān)信號(hào)數(shù)據(jù)等，另一種是由生產(chǎn)業(yè)務(wù)系統(tǒng)所產(chǎn)生的業(yè)務(wù)數(shù)據(jù)，例如產(chǎn)量數(shù)據(jù)、物流數(shù)據(jù)及訂單數(shù)據(jù)等。

目前使用大數(shù)據(jù)平臺(tái)存儲(chǔ)工業(yè)生產(chǎn)過(guò)程中生成的各類數(shù)據(jù)，對(duì)于設(shè)備數(shù)據(jù)，通常是由工業(yè)IOT平臺(tái)現(xiàn)場(chǎng)采集并上傳至大數(shù)據(jù)平臺(tái)，對(duì)于業(yè)務(wù)數(shù)據(jù)，通常是由數(shù)據(jù)抽取工具從各業(yè)務(wù)系統(tǒng)中復(fù)制并上傳至大數(shù)據(jù)平臺(tái)。參見(jiàn)圖1，工業(yè)IOT平臺(tái)采集n個(gè)工業(yè)設(shè)備所產(chǎn)生的設(shè)備數(shù)據(jù)上傳至大數(shù)據(jù)平臺(tái)的時(shí)序數(shù)據(jù)庫(kù)中，數(shù)據(jù)抽取工具針對(duì)m個(gè)業(yè)務(wù)系統(tǒng)進(jìn)行數(shù)據(jù)抽取，并將抽取所得的業(yè)務(wù)數(shù)據(jù)上傳至大數(shù)據(jù)平臺(tái)的業(yè)務(wù)數(shù)據(jù)倉(cāng)庫(kù)中。

實(shí)際工業(yè)場(chǎng)景中，按照被查詢頻率，工業(yè)數(shù)據(jù)又分為熱數(shù)據(jù)和冷數(shù)據(jù)，目前的大數(shù)據(jù)平臺(tái)只是將設(shè)備數(shù)據(jù)及業(yè)務(wù)數(shù)據(jù)分別存儲(chǔ)至兩個(gè)數(shù)據(jù)庫(kù)中，并未根據(jù)數(shù)據(jù)的冷熱程度做區(qū)別管理，冷熱數(shù)據(jù)雜糅在一起，導(dǎo)致用戶查詢相關(guān)數(shù)據(jù)時(shí)的效率十分低。

發(fā)明內(nèi)容

為了提高工業(yè)生產(chǎn)過(guò)程中，用戶對(duì)設(shè)備數(shù)據(jù)及業(yè)務(wù)數(shù)據(jù)的查詢效率，本申請(qǐng)通過(guò)以下實(shí)施例公開(kāi)了工業(yè)數(shù)據(jù)分級(jí)存儲(chǔ)系統(tǒng)、方法及工業(yè)數(shù)據(jù)分級(jí)查詢方法。

本申請(qǐng)第一方面公開(kāi)了一種工業(yè)數(shù)據(jù)分級(jí)存儲(chǔ)系統(tǒng)，包括一級(jí)緩存模塊、二級(jí)緩存模塊及數(shù)據(jù)存儲(chǔ)模塊，所述數(shù)據(jù)存儲(chǔ)模塊設(shè)置有時(shí)序數(shù)據(jù)庫(kù)及業(yè)務(wù)數(shù)據(jù)倉(cāng)庫(kù)，所述時(shí)序數(shù)據(jù)庫(kù)用于接收工業(yè)IOT平臺(tái)發(fā)送過(guò)來(lái)的設(shè)備數(shù)據(jù)，所述業(yè)務(wù)數(shù)據(jù)倉(cāng)庫(kù)用于接收數(shù)據(jù)抽取工具發(fā)送過(guò)來(lái)的業(yè)務(wù)數(shù)據(jù)；所述設(shè)備數(shù)據(jù)包括多個(gè)點(diǎn)位及每個(gè)點(diǎn)位對(duì)應(yīng)的標(biāo)簽數(shù)據(jù)，所述每個(gè)點(diǎn)位對(duì)應(yīng)工業(yè)設(shè)備的一個(gè)組件，所述業(yè)務(wù)數(shù)據(jù)包括多個(gè)業(yè)務(wù)報(bào)表表名以及每個(gè)業(yè)務(wù)報(bào)表表名對(duì)應(yīng)的報(bào)表數(shù)據(jù)；

所述二級(jí)緩存模塊包括二級(jí)設(shè)備數(shù)據(jù)緩存單元及二級(jí)業(yè)務(wù)數(shù)據(jù)緩存單元；

所述一級(jí)緩存模塊包括一級(jí)設(shè)備數(shù)據(jù)緩存單元及一級(jí)業(yè)務(wù)數(shù)據(jù)緩存單元；

所述二級(jí)設(shè)備數(shù)據(jù)緩存單元接至所述時(shí)序數(shù)據(jù)庫(kù)，所述二級(jí)設(shè)備數(shù)據(jù)緩存單元中設(shè)置有設(shè)備Redis集群，所述設(shè)備Redis集群用于存儲(chǔ)所述多個(gè)點(diǎn)位以及每個(gè)點(diǎn)位對(duì)應(yīng)的最新標(biāo)簽數(shù)據(jù)；

所述二級(jí)業(yè)務(wù)數(shù)據(jù)緩存單元接至所述業(yè)務(wù)數(shù)據(jù)倉(cāng)庫(kù)，所述二級(jí)業(yè)務(wù)數(shù)據(jù)緩存單元中設(shè)置有業(yè)務(wù)Redis集群，所述業(yè)務(wù)Redis集群用于存儲(chǔ)所述多個(gè)業(yè)務(wù)報(bào)表表名以及每個(gè)業(yè)務(wù)報(bào)表表名對(duì)應(yīng)的最新報(bào)表數(shù)據(jù)；

所述一級(jí)設(shè)備數(shù)據(jù)緩存單元用于存儲(chǔ)預(yù)設(shè)第一數(shù)量的熱門(mén)點(diǎn)位及每個(gè)所述熱門(mén)點(diǎn)位對(duì)應(yīng)的最新標(biāo)簽數(shù)據(jù)，所述熱門(mén)點(diǎn)位為根據(jù)最近被查詢時(shí)間，預(yù)先從所述設(shè)備Redis集群的多個(gè)點(diǎn)位中選取所得；

所述一級(jí)業(yè)務(wù)數(shù)據(jù)緩存單元用于存儲(chǔ)預(yù)設(shè)第二數(shù)量的熱門(mén)業(yè)務(wù)報(bào)表表名及每個(gè)所述熱門(mén)業(yè)務(wù)報(bào)表表名對(duì)應(yīng)的最新報(bào)表數(shù)據(jù)，所述熱門(mén)業(yè)務(wù)報(bào)表表名為根據(jù)被查詢頻率，預(yù)先從所述業(yè)務(wù)Redis集群的多個(gè)業(yè)務(wù)報(bào)表表名中選取所得。

可選的，所述二級(jí)緩存模塊還包括布隆過(guò)濾器；所述布隆過(guò)濾器分別接至所述二級(jí)設(shè)備數(shù)據(jù)緩存單元、所述二級(jí)業(yè)務(wù)數(shù)據(jù)緩存單元；

所述布隆過(guò)濾器中映射有所述設(shè)備Redis集群中存儲(chǔ)的所有點(diǎn)位及所述業(yè)務(wù)Redis集群中存儲(chǔ)的所有業(yè)務(wù)報(bào)表表名；

所述一級(jí)設(shè)備數(shù)據(jù)緩存單元通過(guò)所述布隆過(guò)濾器，接至所述二級(jí)設(shè)備數(shù)據(jù)緩存單元；

所述一級(jí)業(yè)務(wù)數(shù)據(jù)緩存單元通過(guò)所述布隆過(guò)濾器，接至所述二級(jí)業(yè)務(wù)數(shù)據(jù)緩存單元。

可選的，所述工業(yè)數(shù)據(jù)分級(jí)存儲(chǔ)系統(tǒng)還包括底層存儲(chǔ)模塊；