[發明專利]一種線上數控展覽方法

在審

• 申請號: 202210032301.7
• 申請日: 2022-01-12
• 公開（公告）號: CN114510526A
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 胡婷;邴又然;胡強;王博鈺;黃明銳
• 申請（專利權）人: 上海先之實業有限公司
• 主分類號: G06F16/26
• 分類號: G06F16/26;G06F16/25;G06F16/215;G06F9/48;G06F9/50;H04L67/10;H04L67/12;H04L67/61
• 代理公司: 溫州青科專利代理事務所(特殊普通合伙) 33390
• 代理人: 姜青松

本發明公開了一種線上數控展覽方法，先通過數據收集模塊收集各種數據源的數據，并將這些數據轉換為文件或消息向后傳遞，通過數據轉存模塊將數據定時傳遞到分布式存儲或者實時傳遞給下游的數據處理程序，通過ETL模塊對數據清洗、格式和內容的處理和轉換、數據分級分揀、加載至數據倉庫模塊，通過數據倉庫模塊對數據進行存取和管理，通過元數據管理模塊記錄和約束數據倉庫中數據的含義和格式、控制著數據的生命周期和數據質量，通過分析引擎模塊執行各種分析語句或代碼，完成分析任務，根據分析挖掘目標，從數據庫中把數據提取出來，然后經過ETL模塊組織成適合分析挖掘算法使用寬表，然后利用數據挖掘軟件進行挖掘，一定程度上提高數據挖掘效率。

技術領域

本發明屬于大數據處理技術領域，具體涉及一種線上數控展覽方法。

背景技術

參觀展覽會伴隨著時間和空間的限制,較為不便,相關技術中已經存在一種可以線上進行參觀展覽的系統,大數據分析及挖掘技術通常是對紛繁復雜的海量數據價值的提煉，而其中最有價值的地方在于預測性分析，即可以通過數據可視化、統計模式識別、數據描述等數據挖掘形式幫助數據科學家更好的理解數據，根據數據挖掘的結果得出預測性決策。

但是，傳統的數據挖掘軟件，一般只能支持在單機上進行小規模數據處理,受此限制傳統數據分析挖掘一般會采用抽樣方式來減少數據分析規模，降低了數據挖掘效率；為此，我們提出一種線上數控展覽方法來解決上述存在的問題。

發明內容

本發明的目的在于提供一種線上數控展覽方法，通過數據收集模塊、數據轉存模塊、ETL模塊、數據倉庫模塊、元數據管理模塊、分析引擎模塊、作業管理與調度模塊和資源分配與調度模塊的配合，以解決上述背景技術中提出的問題。

為實現上述目的，本發明采用了如下技術方案：

一種線上數控展覽方法，包括如下步驟：

S1、通過數據收集模塊收集各種數據源的數據，并將這些數據轉換為文件或消息向后傳遞；

S2、通過數據轉存模塊將數據定時傳遞到分布式存儲或者實時傳遞給下游的數據處理程序；

S3、通過ETL模塊對數據清洗、格式和內容的處理和轉換、數據分級分揀、加載至數據倉庫模塊；

S4、通過數據倉庫模塊對數據進行存取和管理；

S5、通過元數據管理模塊記錄和約束數據倉庫中數據的含義和格式、控制著數據的生命周期和數據質量；

S6、通過分析引擎模塊執行各種分析語句或代碼，完成分析任務；

S7、通過作業管理與調度模塊分析作業的管理和定時調度；

S8、通過資源分配與調度模塊在多作業同時運行的場景下，有效協調和分配集群的資源。

優選的，步驟1中所述數據收集模塊包括數據采集器，所述數據采集器包括溫濕度傳感器、粉塵濃度傳感器和壓力傳感器，所述溫濕度傳感器、粉塵濃度傳感器和壓力傳感器分別與數據轉存模塊電性連接。

優選的，步驟2中所述數據轉存模塊包括云服務器，所述云服務器存儲的數據包括導入的表格數據、填入的人員數據和數據器采集的數據。

優選的，步驟3中所述ETL模塊是完成對已接收數據的辨析、抽取和清洗的操作，其中抽取是因獲取的數據可能具有多種結構和類型，數據抽取過程可以幫助我們將這些復雜的數據轉化為單一的或者便于處理的構型，以達到快速分析處理的目的；清洗是對于大數據，并不全是有價值的，有些數據并不是我們所關心的內容。

優選的，步驟4中所述數據倉庫模塊是將大數據存儲與管理要用存儲器把采集到的數據存儲起來，建立相應的數據庫，并進行管理和調用，開發可靠的分布式文件系統、能效優化的存儲、計算融入存儲、大數據的去冗余及高效低成本的大數據存儲。