[發明專利]一種工業大數據分級存儲方法及系統

在審

• 申請號: 202110057868.5
• 申請日: 2021-01-15
• 公開（公告）號: CN114764415A
• 公開（公告）日: 2022-07-19
• 發明（設計）人: 張軼;孫大艦;宋文斌;石林;謝丹妮;田炳亮;李雪丹
• 申請（專利權）人: 深圳光耀智微科技有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/28
• 代理公司: 北京金智普華知識產權代理有限公司 11401
• 代理人: 巴曉艷

本發明提供了一種工業大數據分級存儲方法及系統，所述分級存儲方法包括以下步驟：S1：設備傳感器從工業設備獲取實時運行數據；S2：通過調度程序將實時數據存儲至實時內存庫服務器，實時內存庫僅存儲1分鐘實時數據；S3：通過調度程序和調度規則將超過一分鐘的數據發送至緩存內存庫服務器，緩存內存服務器所存儲的數據類型有限；S4：通過調度程序和調度規則將緩存內存庫接收的數據存儲至nosql數據庫形成最終落盤一方面，本發明應用兩層內存庫和nosql，優化處理工業大數據緩存問題，解決工業大數據海量數據高并發存儲需要。

【技術領域】

本發明涉及計算機數據處理技術領域，尤其涉及一種工業大數據分級存儲方法及系統。

【背景技術】

工業生產中產生的工業大數據具有數據量大、數據處理高并發、數據多樣化等特征，應用傳統商業數據庫對其進行存儲存在內存有限、兼容性欠佳、代價大的局限，實際調用效率不能保證。并且隨著工業物聯網和智能制造的發展，數據量越來越多，數據資產價值密度低，從“業務驅動”轉變“數據驅動”，存儲方法需要革新，以滿足現在技術擴展速度和數據變現要求。

鞏俊利于2019年8月在《一種工業大數據的存儲方法及裝置》中發明了一種工業大數據存儲裝置，包括采集模塊、轉換模塊、寫入模塊，根據采集到的數據信息類型，選擇對應數據庫連接表，查找數據信息類型對應的觸發條件和目的數據庫的參數，將數據信息根據預設格式拼接為標簽數據信息，寫入數據庫配置文件，并根據目的數據庫的參數將配置文件發送至目的數據庫。

已有技術通過將采集到的數據根據一定條件進行轉換，轉換成新的標簽數據，再將帶有標簽數據的配置文件發送至目的數據庫。

已有技術只解決的用開源數據庫代替商用數據庫和關系數據庫的問題，并沒有解決工業大數據本身的數據量大、數據處理高并發、數據多樣化的自有屬性特征難題。

因此，有必要研究一種工業大數據分級存儲方法及系統來應對現有技術的不足，以解決或減輕上述一個或多個問題。

【發明內容】

有鑒于此，本發明提供了一種工業大數據分級存儲方法及系統，應用兩層內存庫和nosql，優化處理工業大數據緩存問題，解決工業大數據海量數據高并發存儲需要。

一方面，本發明提供一種工業大數據分級存儲方法，所述分級存儲方法包括以下步驟：

S1：設備傳感器從工業設備獲取實時運行數據；

S2：通過調度程序將實時數據存儲至實時內存庫服務器，實時內存庫僅存儲1分鐘實時數據；

S3：通過調度程序和調度規則將超過一分鐘的數據發送至緩存內存庫服務器；

S4：通過調度程序和調度規則將緩存內存庫接收的數據存儲至nosql數據庫形成最終落盤。

如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，所述S2中第實時內存庫所遵循換存觸發條件為當數據累計1分鐘后即將數據換存至第二層緩存數據庫，同時進行跨天監測，跨天即換存。

如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，所述S3中實時內存庫數據換存至緩存內存庫數據調度方式為1000點一個線程，50個線程一個進程，調度時間為1分鐘一調度。

如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，所述S3中緩存內存庫存儲的數據類型為當日值、前一日值及最近一天的24時值。

如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，所述S4中緩存內存庫中數據落盤至nosql數據庫調度方式為多線程調度，5萬點一個線程，調度時間為10分鐘一調度。

如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，所述S4中Nosql數據庫為開源產品，包括但不限于MongoDB和HBase。