[發(fā)明專利]一種工業(yè)高分?jǐn)?shù)據(jù)快速集群存儲搜索系統(tǒng)及方法

有效

• 申請?zhí)枺?/td>: 202010885245.2
• 申請日: 2020-08-28
• 公開（公告）號: CN111898003B
• 公開（公告）日: 2021-02-09
• 發(fā)明（設(shè)計(jì)）人: 劉偉銘
• 申請（專利權(quán)）人: 劉偉銘
• 主分類號: G06F16/901
• 分類號: G06F16/901;G06F16/906;G06F16/953
• 代理公司: 成都華辰智合知識產(chǎn)權(quán)代理有限公司 51302
• 代理人: 秦華云

本發(fā)明公開了一種工業(yè)高分?jǐn)?shù)據(jù)快速集群存儲搜索系統(tǒng)及方法，包括產(chǎn)品ID編寫跟蹤系統(tǒng)、高速數(shù)據(jù)采集系統(tǒng)、產(chǎn)品數(shù)據(jù)歸集模塊、數(shù)據(jù)分類模塊和集群存儲系統(tǒng)，高速數(shù)據(jù)采集運(yùn)算模塊對應(yīng)采集工序生產(chǎn)設(shè)備的生產(chǎn)數(shù)據(jù)并連同產(chǎn)品ID存儲為工序數(shù)據(jù)包；產(chǎn)品數(shù)據(jù)歸集模塊根據(jù)產(chǎn)品ID進(jìn)行歸類并將同一產(chǎn)品ID的工序數(shù)據(jù)包按照工序時(shí)間和長度、濃度或電壓等序列依次存儲合并成同一產(chǎn)品ID的產(chǎn)品數(shù)據(jù)包，數(shù)據(jù)分類模塊將產(chǎn)品數(shù)據(jù)包分別存儲至集群存儲系統(tǒng)的數(shù)據(jù)文件服務(wù)器中。本發(fā)明實(shí)現(xiàn)了工業(yè)高分?jǐn)?shù)據(jù)按規(guī)則存儲及運(yùn)算，多進(jìn)程各自獨(dú)占數(shù)據(jù)鏈路資源進(jìn)行搜索，大大降低了單進(jìn)程搜索查詢?nèi)蝿?wù)量、任務(wù)難度及執(zhí)行時(shí)間，有利于快速得出常規(guī)及大數(shù)據(jù)分析結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明涉及工業(yè)數(shù)據(jù)存儲及搜索查詢領(lǐng)域，尤其涉及一種工業(yè)高分?jǐn)?shù)據(jù)快速集群存儲搜索系統(tǒng)及方法。

背景技術(shù)

在高精度的數(shù)控流水線加工過程中，產(chǎn)品是按照生產(chǎn)流水線進(jìn)行加工的，生產(chǎn)流水線上往往是需要多個生產(chǎn)工序組合而成，每個生產(chǎn)工序位置處對應(yīng)一個高精度數(shù)控機(jī)床或其他精密加工設(shè)備(統(tǒng)稱為工序生產(chǎn)設(shè)備)，在高精密產(chǎn)品生產(chǎn)中是需要將各個工序生產(chǎn)設(shè)備的生產(chǎn)數(shù)據(jù)存儲下來，以便后期運(yùn)用各類常規(guī)及大數(shù)據(jù)分析方法找到合適的途徑改善生產(chǎn)或找出影響產(chǎn)品品質(zhì)的因素。而高精密產(chǎn)品的生產(chǎn)數(shù)據(jù)比較繁多，比如高精度數(shù)控機(jī)床對于高精密產(chǎn)品的生產(chǎn)加工往往都是以0.1ms～10ms的控制周期來精加工，這樣整個高精密產(chǎn)品的全部生產(chǎn)數(shù)據(jù)就構(gòu)成了工業(yè)高分?jǐn)?shù)據(jù)，其中高分是指時(shí)間、長度等物理量的高分辨率，比如每隔10ms或每隔0.1ms采集一次，比如每隔1m或每隔1cm(加工時(shí)將高精密產(chǎn)品運(yùn)動，其高精密產(chǎn)品運(yùn)動的距離)采集一個點(diǎn)。為了提高產(chǎn)品產(chǎn)量與質(zhì)量，對重要的生產(chǎn)過程數(shù)據(jù)要進(jìn)行全程采集，如3萬點(diǎn)實(shí)數(shù)(例如：10ms采集一次一天的數(shù)據(jù)量為30000*24*60*60*1000/10*4字節(jié)＝1036.8G，一年即378T的數(shù)據(jù)，一般最少要保存10年)，只有這樣才能運(yùn)用各類常規(guī)及大數(shù)據(jù)分析方法找到合適的途徑改善生產(chǎn)或找出影響產(chǎn)品品質(zhì)的因素。目前一般保存到各類數(shù)據(jù)庫中，利用SQL語句進(jìn)行查詢，由于數(shù)據(jù)量龐大，查詢一次的時(shí)間常常是小時(shí)級，非常費(fèi)時(shí)費(fèi)力。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)存在的不足之處，本發(fā)明的目的在于提供一種工業(yè)高分?jǐn)?shù)據(jù)快速集群存儲搜索系統(tǒng)及方法，實(shí)現(xiàn)了工業(yè)高分?jǐn)?shù)據(jù)按規(guī)則存儲及運(yùn)算，多進(jìn)程各自獨(dú)占數(shù)據(jù)鏈路資源進(jìn)行搜索，大大降低了單進(jìn)程搜索查詢?nèi)蝿?wù)量、任務(wù)難度及執(zhí)行時(shí)間，可以在秒級或分鐘級完成搜索查詢及數(shù)據(jù)反饋，提高了工作效率，有利于快速實(shí)現(xiàn)運(yùn)用各類常規(guī)及大數(shù)據(jù)分析方法找到合適的途徑改善生產(chǎn)或找出影響產(chǎn)品品質(zhì)的因素。

本發(fā)明的目的通過下述技術(shù)方案實(shí)現(xiàn)：