[發明專利]鋁/銅板帶材生產全流程大數據存儲方法

在審

• 申請號: 202110476959.2
• 申請日: 2021-04-29
• 公開（公告）號: CN113177022A
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 劉士新;王匯然;陳大力;溫睿;趙梓焱;姚明昊
• 申請（專利權）人: 東北大學
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/182
• 代理公司: 大連東方專利代理有限責任公司 21212
• 代理人: 何圣斐;李洪福

1.鋁/銅板帶材生產全流程大數據存儲方法，其特征在于，所述方法包括以下步驟：

S1：針對鋁/銅板帶材生產全流程數據進行梳理分類，整理出不同結構和不同類型的數據；

S2：根據S1梳理的不同類型的數據，設計不同的存儲方式和適用于鋁/銅板帶材生產全流程多源異構數據的數據庫表結構，快速存取不同結構的數據；

S3：根據S2設計出的存儲方式和數據庫表結構，構建集群存儲，實現針對鋁/銅板帶材生產全流程多源異構數據特點的分布式存儲功能。

2.根據權利要求1所述的鋁/銅板帶材生產全流程大數據存儲方法，其特征在于：所述步驟S1的具體過程如下：

(1.1)根據鋁/銅板帶材生產全流程工業大數據平臺的數據結構，將鋁/銅板帶材生產全流程數據分為結構化數據、半結構化數據和非結構化數據；

(1.2)根據鋁/銅板帶材生產全流程的數據類型，將數據分為設備運行數據、工藝過程數據、管理信息數據、自然環境數據、質量檢測數據、用于數據查詢和索引的檢索性數據、字段翻譯數據、和加工過程中產生的各類文件數據；

(1.3)將鋁/銅板帶材工藝過程中的用于數據查詢和索引的檢索性數據以及字段翻譯數據歸為結構化數據；將鋁/銅板帶材生產過程中產生的設備運行數據、工藝過程數據、管理信息數據、自然環境數據和質量檢測數據歸為半結構化數據；將鋁/銅板帶材生產加工過程中產生的各類文件數據歸為非結構化數據。

3.根據權利要求2所述的鋁/銅板帶材生產全流程大數據存儲方法，其特征在于：所述步驟S2的具體過程如下：

(2.1)針對鋁/銅板帶材的結構化數據，將鋁/銅板帶材生產全流程中的生產設備、報文號、產品ID、時間等索引字段和字段翻譯數據存儲在MySQL中，且表結構選擇符合第一范式的二維表形式，其中索引表存儲的字段名為對應相應的索引字段，字段翻譯表的字段分別為英文字段和中文字段；

(2.2)針對鋁/銅板帶材的半結構化數據，將設備運行數據、工藝過程數據、管理信息數據、自然環境數據和半成品/成品質量檢測數據部署在非關系型數據庫HBase中，存儲的表結構為面向主鍵和列族索引的，其中將Hbase的rowkey設置為設備+報文號+產品ID+時間，將列族設置為對應的工藝過程，列的列名為對應的字段名；

(2.3)針對鋁/銅板帶材的非結構化數據，將鋁/銅板帶材生產全流程中產生的所有文件類型數據按照數據的基礎信息，包括時間、產生此數據的設備、數據的文件名，存儲在HDFS上；文件存儲系統中的存儲路徑為設備+時間+文件名。

4.根據權利要求3所述的鋁/銅板帶材生產全流程大數據存儲方法，其特征在于：所述步驟S3的具體過程如下：

(3.1)根據步驟S2設計出的存儲方法和數據庫表，按照以下步驟構建Hadoop集群：安裝Java；安裝Hadoop；進行SSH配置；對Hadoop進行配置；格式化HDFS文件系統；啟動守護進程；創建用戶目錄；安裝配置Hbase；

(3.2)根據步驟S2設計的存儲方法和數據庫表，分別針對鋁/銅板帶材的不同數據，使用客戶端API建立數據庫表，其中表結構的設計和步驟S2相同；在HDFS中，將文件分成塊來進行存儲，一個文件可以包含許多個塊，每個塊存儲在不同的DataNode中；當一個客戶端請求讀取一個文件時，先在NameNode中獲取文件的元數據信息，然后從對應的數據節點上并行地讀取數據塊，文件最終以數據塊的形式存儲；HBase表根據行鍵的值水平分割成區域region；一個區域包含表中所有行鍵位于區域的起始鍵值和結束鍵值之間的行；集群中負責管理區域的結點負責數據的讀寫；

(3.3)對于不同的數據類型，利用現有的API，編寫java程序將鋁/銅板帶材全流程數據直接導入服務器集群當中。