[發明專利]一種基于智能制造過程的多源異構數據存儲方法

有效

• 申請號: 201810320428.2
• 申請日: 2018-04-11
• 公開（公告）號: CN110377598B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 王忠民;樊武東;賀炎;宋國豪;陳彥萍
• 申請（專利權）人: 西安郵電大學
• 主分類號: G06F16/22
• 分類號: G06F16/22
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明屬于數據處理技術領域，具體涉及一種基于智能制造的多源異構數據存儲方法。該方法包括以下步驟：多源異構數據采集；引入傳感器缺失數據填補算法確保存儲數據完整；選擇可以有效存儲多源異構數據的數據庫；根據創建的樹形映射方法進行多元異構數據存儲映射；根據提出的大文件直接存儲小文件通過緩沖隊列與大文件進行合并方法進行多元異構數據的存儲。本發明公開了一種基于智能制造的多源異構數據存儲方法，其具體有以下有益效果：確保傳感器數據無缺失存儲；樹形映射機制更加清楚表述數據之間相互關系，增加了異構數據存儲的擴展性，方便查找和存儲；大文件直接存儲，小文件通過緩沖隊列與大文件合并存儲減少了存儲空間浪費。

技術領域

本發明涉及數據處理技術領域，特別涉及基于智能制造過程的多源異構數據存儲方法。

背景技術

隨著電子信息技術的發展，電子生產企業在生產流水線上安裝了越來越多的傳感器，為將來的產品故障排查提供數據支撐，也為減少殘次品提供了數據支撐。

電子生產流水線上的傳感器種類繁多，所產生的數據有結構化、半結構化和非結構化的大量多源異構數據。在多源異構數據的存儲上，現有方法有很多不足之處；在進行傳感器數據存儲時，沒有把傳感器由于宕機、斷電、源器件損壞等導致實時數據缺失的情況和數據存儲融合聯系在一起。

在對多源異構數據進行存儲時，大多數方案以存儲和查看的效率為重，在提高存儲效率和減少數據存儲冗余度方面都表現出色的方法較少。傳統的多源異構數據存儲方案中，在進行數據存儲時，缺少擴展性強、易于表示的多源異構數據關系映射方案；并且很難盡可能的消除語義定義的差異，給多源化異構數據的融合造成了困難。

發明內容

為了克服上述現有技術的不足，本發明提供了一種基于智能制造過程的多源異構數據存儲方法，可填補傳感器因各種原因導致的缺失數據，保證數據采集的完整性。

通過使用MongoDB存儲結構化、半結構化文件，音頻、視頻采用MongoDB內置的GridFS文件系統進行存儲。

針對多源異構數據存儲創建樹形映射方案，使得多源異構數據在存儲上具有良好的擴展性。

使用大文件直接存儲、小文件通過緩沖隊列與大文件合并的方法；這種方法增加了存儲率，減少了存儲空間浪費。

通過存儲傳感器數據時做出缺失數據填補的方式確保傳感器數據完整的存儲。

根據樹形映射機制，將不同傳感器數據放在不同的塊中進行存儲；父節點表示子節點的語義以及相互映射關系；這種存儲方式，給多源異構數據的存儲增加了擴展性，提高了訪問效率和存儲效率。

葉子節點通過大文件直接存儲方式存儲；小文件通過緩沖隊列存儲的方式進行數據的存儲；降低了存儲空間的冗余度。

附圖說明

圖1為基于智能制造過程的多源異構數據存儲方法圖。

圖2為傳感器缺失數據填補流程圖。

圖3為樹形映射結構方案圖。

圖4為大文件直接存儲，小文件通過緩沖隊列與大文件合并流程圖。

圖5為多源異構數據存儲方案圖。

具體實施方式

針對智能制造生產線上傳感器傳輸中斷、宕機所產生的數據不完整問題，引入了一種面向統一數據模型的缺失數據填補算法。

該算法采用改進的混沌遺傳優化方法估計不完整數據的均值和協方差對應的最佳參數；再根據已知數據利用改進（MCMC）方法估計缺失數據,解決了調控數據中的缺失問題。

該算法能通過較少的迭代次數獲得最優的缺失數據解值；通過算法的計算使缺失數據的估計值更加準確,有效的保證了數據的準確性和完整性。