[發(fā)明專利]一種工業(yè)設(shè)備數(shù)據(jù)的存儲(chǔ)方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110197609.2
• 申請(qǐng)日: 2021-02-22
• 公開（公告）號(hào): CN112579834B
• 公開（公告）日: 2021-09-03
• 發(fā)明（設(shè)計(jì)）人: 張碩;孟越;蔣綿;李振興;姚健;馬國;徐地;鐘虓;王巖鵬
• 申請(qǐng)（專利權(quán)）人: 北京工業(yè)大數(shù)據(jù)創(chuàng)新中心有限公司
• 主分類號(hào): G06F16/901
• 分類號(hào): G06F16/901;G06F16/906
• 代理公司: 北京潤捷智誠知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11831
• 代理人: 安利霞

本發(fā)明提供一種工業(yè)設(shè)備數(shù)據(jù)的存儲(chǔ)方法及系統(tǒng)，所述存儲(chǔ)方法包括：獲取導(dǎo)入數(shù)據(jù)文件；按照導(dǎo)入數(shù)據(jù)的分類，將所述導(dǎo)入數(shù)據(jù)文件中的數(shù)據(jù)存儲(chǔ)于非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)區(qū)或者時(shí)序數(shù)據(jù)存儲(chǔ)區(qū)，所述非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)區(qū)用于存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)，所述時(shí)序數(shù)據(jù)存儲(chǔ)區(qū)用于存儲(chǔ)時(shí)序數(shù)據(jù)。本發(fā)明的技術(shù)方案，實(shí)現(xiàn)了大量工業(yè)數(shù)據(jù)的直接統(tǒng)計(jì)顯示，降低了運(yùn)維復(fù)雜度。

技術(shù)領(lǐng)域

本發(fā)明涉及工業(yè)設(shè)備數(shù)據(jù)處理技術(shù)領(lǐng)域，特別是指一種工業(yè)設(shè)備數(shù)據(jù)的存儲(chǔ)方法及系統(tǒng)。

背景技術(shù)

工業(yè)大數(shù)據(jù)具有海量，復(fù)雜的特點(diǎn)，具有多模態(tài)、強(qiáng)關(guān)聯(lián)、高通量的數(shù)據(jù)特征，其中海量主要體現(xiàn)在時(shí)間序列類型的工業(yè)設(shè)備數(shù)據(jù)，以及多樣繁雜的非結(jié)構(gòu)化數(shù)據(jù)。據(jù)統(tǒng)計(jì)，80%以上體量的數(shù)據(jù)是非結(jié)構(gòu)化數(shù)據(jù)和時(shí)間序列數(shù)據(jù)；面向從信息物理、多源數(shù)據(jù)、跨界語義等多個(gè)維度進(jìn)行融合一體化數(shù)據(jù)管理的典型應(yīng)用場景，最基礎(chǔ)的一項(xiàng)內(nèi)容是非結(jié)構(gòu)化數(shù)據(jù)和時(shí)間序列數(shù)據(jù)的高效存儲(chǔ)和接入。

工業(yè)數(shù)據(jù)湖是存儲(chǔ)數(shù)據(jù)自然/原始內(nèi)容的系統(tǒng)或存儲(chǔ)，用于企業(yè)存儲(chǔ)大體量的全量數(shù)據(jù)工業(yè)數(shù)據(jù)接入后的數(shù)據(jù)匯集區(qū)，作為數(shù)據(jù)“貨架”，支持對(duì)原始數(shù)據(jù)的直接分析、將原始數(shù)據(jù)到數(shù)據(jù)倉庫以及有待進(jìn)一步數(shù)據(jù)加工/處理等；工業(yè)數(shù)據(jù)流轉(zhuǎn)的中樞；工業(yè)數(shù)據(jù)湖的存儲(chǔ)是數(shù)據(jù)接入到數(shù)據(jù)消費(fèi)的基礎(chǔ)。

對(duì)象存儲(chǔ)，伴隨云計(jì)算發(fā)展而來的新的存儲(chǔ)架構(gòu)形式，不同于傳統(tǒng)的塊存儲(chǔ)和文件存儲(chǔ)，具有高伸縮等特點(diǎn)，是云計(jì)算最典型的存儲(chǔ)形式；S3協(xié)議是目前對(duì)象存儲(chǔ)的事實(shí)標(biāo)準(zhǔn)，如何基于S3協(xié)議的對(duì)象存儲(chǔ)構(gòu)建工業(yè)數(shù)據(jù)湖系統(tǒng)是一個(gè)發(fā)展方向。

工業(yè)數(shù)據(jù)湖中數(shù)據(jù)量龐大，尤其是時(shí)間序列類型的數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù)，往往需要直接提供數(shù)據(jù)的統(tǒng)計(jì)信息，幫助工業(yè)用戶了解數(shù)據(jù)接入和存儲(chǔ)的情況；然而，現(xiàn)有技術(shù)中，無法對(duì)大量工業(yè)數(shù)據(jù)的直接統(tǒng)計(jì)顯示，運(yùn)維復(fù)雜。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題是提供一種工業(yè)設(shè)備數(shù)據(jù)的存儲(chǔ)方法及系統(tǒng)，用于實(shí)現(xiàn)大量工業(yè)數(shù)據(jù)的直接統(tǒng)計(jì)顯示，降低運(yùn)維復(fù)雜度。

為解決上述技術(shù)問題，本發(fā)明的技術(shù)方案如下：

一種工業(yè)設(shè)備數(shù)據(jù)的存儲(chǔ)方法，包括：

獲取導(dǎo)入數(shù)據(jù)文件；

按照導(dǎo)入數(shù)據(jù)的分類，將所述導(dǎo)入數(shù)據(jù)文件中的數(shù)據(jù)存儲(chǔ)于非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)區(qū)或者時(shí)序數(shù)據(jù)存儲(chǔ)區(qū)，所述非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)區(qū)用于存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)，所述時(shí)序數(shù)據(jù)存儲(chǔ)區(qū)用于存儲(chǔ)時(shí)序數(shù)據(jù)。

可選的，按照導(dǎo)入數(shù)據(jù)的分類，將所述導(dǎo)入數(shù)據(jù)文件的數(shù)據(jù)存儲(chǔ)于時(shí)序數(shù)據(jù)存儲(chǔ)區(qū)，包括：

若所述導(dǎo)入數(shù)據(jù)的類型為時(shí)序類型，則生成所述時(shí)序數(shù)據(jù)的索引對(duì)象，并將所述索引對(duì)象存儲(chǔ)于所述時(shí)序數(shù)據(jù)存儲(chǔ)區(qū)的時(shí)序索引存儲(chǔ)區(qū)；

若所述導(dǎo)入數(shù)據(jù)的類型為時(shí)序類型，則生成所述時(shí)序數(shù)據(jù)的數(shù)據(jù)內(nèi)容對(duì)象， 并將所述數(shù)據(jù)內(nèi)容對(duì)象存儲(chǔ)于所述時(shí)序數(shù)據(jù)存儲(chǔ)區(qū)的時(shí)序數(shù)據(jù)內(nèi)容存儲(chǔ)區(qū)。

可選的，所述生成所述時(shí)序數(shù)據(jù)的數(shù)據(jù)內(nèi)容對(duì)象，包括：

對(duì)所述時(shí)序數(shù)據(jù)中的測點(diǎn)，按測點(diǎn)名稱進(jìn)行分組，得到多個(gè)測點(diǎn)集合；

對(duì)所述時(shí)序數(shù)據(jù)中的數(shù)據(jù)記錄按照時(shí)間進(jìn)行分組，得到多個(gè)記錄集合；

根據(jù)所述測點(diǎn)集合、記錄集合生成數(shù)據(jù)內(nèi)容對(duì)象，所述數(shù)據(jù)內(nèi)容對(duì)象包括對(duì)象的鍵值Key、對(duì)象本身和元數(shù)據(jù)。

可選的，生成所述時(shí)序數(shù)據(jù)文件的索引對(duì)象，包括：

根據(jù)所述測點(diǎn)集合以及所述記錄集合，獲得所述測點(diǎn)集合中的測點(diǎn)在所述記錄集合中的數(shù)據(jù)類型；

根據(jù)所述測點(diǎn)集合、記錄集合、數(shù)據(jù)類型以及所述測點(diǎn)所在的所述數(shù)據(jù)內(nèi)容對(duì)象的鍵值Key，生成索引對(duì)象。