[發明專利]一種工業高分數據快速集群存儲搜索系統及方法

有效

• 申請號: 202010885245.2
• 申請日: 2020-08-28
• 公開（公告）號: CN111898003B
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 劉偉銘
• 申請（專利權）人: 劉偉銘
• 主分類號: G06F16/901
• 分類號: G06F16/901;G06F16/906;G06F16/953
• 代理公司: 成都華辰智合知識產權代理有限公司 51302
• 代理人: 秦華云

1.一種工業高分數據快速集群存儲搜索系統，包括工業生產系統，所述工業生產系統按照生產流程依次包括若干個工序生產設備，其特征在于：還包括產品ID編寫跟蹤系統、高速數據采集系統、產品數據歸集模塊、數據分類模塊和集群存儲系統，所述高速數據采集系統包括若干個高速數據采集運算模塊，所述產品ID編寫跟蹤系統與高速數據采集系統連接，所述產品ID編寫跟蹤系統用于在工業生產系統中對同一產品寫入或讀取產品ID并完成所有產品的寫入或讀取工作，產品ID為產品的唯一身份編碼，高速數據采集系統的高速數據采集運算模塊與若干個工業生產系統的工序生產設備相對應，高速數據采集運算模塊對應采集工序生產設備的生產數據并連同產品ID存儲為工序數據包；所述高速數據采集系統與產品數據歸集模塊和復雜數學運算模塊連接，所述數據歸集模塊與復雜數學運算模塊連接，所述產品數據歸集模塊根據產品ID進行歸類并將同一產品ID的工序數據包存儲合并成同一產品ID的產品數據包，所述產品數據歸集模塊完成所有產品ID的產品數據包歸類合并工作；所述產品數據歸集模塊與數據分類模塊連接，所述數據分類模塊與集群存儲系統連接，所述集群存儲系統包括若干個數據文件集群服務器，所述數據分類模塊將產品數據包分別存儲至集群存儲系統的各個數據文件集群服務器中。

2.按照權利要求1所述的一種工業高分數據快速集群存儲搜索系統，其特征在于：所述工序數據包包括特征項數據，特征項數據為特征項的集合，所述高速數據采集運算模塊對采集的生產數據進行特征提取運算并連同產品ID存儲至特征項數據下；所述產品數據包包括產品屬性數據，產品屬性數據為產品屬性項的集合，產品屬性項與特征項相對應，所述產品數據歸集模塊根據產品ID將工序數據包中的特征項數據歸集到產品屬性數據中；所述高速數據采集系統的高速數據采集運算模塊按照時間序列和邏輯序列分別依次存儲工序數據包，所述產品數據歸集模塊按照邏輯序列依次存儲產品數據包，所述邏輯序列為長度序列或濃度序列或電壓序列的一種或多種，所述時間序列為生產數據采集的時間，所述長度序列為所采集生產數據的產品長度。

3.按照權利要求1所述的一種工業高分數據快速集群存儲搜索系統，其特征在于：還包括總數據備份服務器，所述總數據備份服務器與數據分類模塊連接，所述總數據備份服務器備份存儲產品數據包。

4.按照權利要求1～3任一項所述的一種工業高分數據快速集群存儲搜索系統，其特征在于：還包括搜索客戶端系統，所述搜索客戶端系統與集群存儲系統網絡通信連接，所述搜索客戶端系統包括若干個搜索客戶端，所述搜索客戶端系統的搜索客戶端向集群存儲系統的數據文件集群服務器下發搜索指令，所述集群存儲系統的數據文件集群服務器執行搜索指令并通信傳輸搜索結果數據至搜索客戶端系統的搜索客戶端。

5.按照權利要求4所述的一種工業高分數據快速集群存儲搜索系統，其特征在于：所述集群存儲系統的數據文件集群服務器內部具有若干個搜索引擎進程，每個搜索引擎進程獨占一條數據鏈路，每條數據鏈路具有獨立的硬盤、內存塊和CPU內核，每個搜索引擎進程具有兩個獨立的線程模塊，兩個線程模塊分別為索引線程模塊和搜索線程模塊，所述索引線程模塊對存儲于數據文件集群服務器中所有產品數據包或增量產品數據包對應映射建立起索引及數據關聯，所述索引與產品屬性項相對應，所述搜索指令與索引相對應；所述搜索線程模塊接收到一個搜索指令后并形成一個搜索任務，搜索線程模塊按接收時間形成搜索任務隊列，搜索線程模塊按照搜索任務隊列依次執行所對應搜索指令并將搜索結果數據對應傳輸至搜索客戶端。

6.按照權利要求5所述的一種工業高分數據快速集群存儲搜索系統，其特征在于：所述數據文件集群服務器內部的搜索線程模塊具有最高的運行優先級，大于索引線程模塊的運行優先級，所述搜索指令包括若干個產品屬性項。