[發明專利]一種基于云計算的大規模熱連軋數據主題定制系統

無效

• 申請號: 201310130442.3
• 申請日: 2013-04-16
• 公開（公告）號: CN103198138A
• 公開（公告）日: 2013-07-10
• 發明（設計）人: 鄒麗暉;張德政;華鎮;阿孜古麗;孫義;謝永紅;劉宏嵐;杜鑫
• 申請（專利權）人: 北京科技大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京金智普華知識產權代理有限公司 11401
• 代理人: 皋吉甫

技術領域

本發明涉及鋼鐵冶金行業中大規模數據處理技術領域，尤其涉及熱連軋數據挖掘的預處理領域。

背景技術

在帶鋼熱連軋生產線日常的生產過程中，產生了海量的實時數據，這些數據中蘊含著豐富的科研價值。長期以來，由于對海量數據的重視程度不夠，管理不善，導致數據長時間零散存放，沒有得到有效的利用，從數據挖掘的角度上講，是一種很大的浪費。這也在一定程度上，極大的影響了熱連軋工藝的發展。

隨著計算機技術的發展，目前基本上所有熱軋帶鋼廠，都實現了電子化信息化的管理。但是，這些僅僅是對現有數據的一些存儲、統計與展示，如溫度、厚度、板形和一些參數的直接展示。在工藝要求越來越高的今天，已經很難通過這種直接的展示來達到帶鋼質量上的進步。因此，對熱軋數據進行更深一步的探索，發掘其內在的聯系與規律，就顯得愈發重要。

原有的數據挖掘預處理的模式是先定主題，由主題規定一些需要的數據表構建對應主題的云數據倉庫，而云數據倉庫根據對應的主題從數據庫中選取部分相關數據表來抽取主題所需要的數據。然而熱軋鋼原有系統制作工藝復雜，數據類型繁重，而且沒有現在技術的良好設計結構，加上年代久遠，傳統的數據庫建表組織抽取模式是先定義數據持久層的結構來抽取的信息的方式無法滿足對未知需求下的設計，而且面對海量數據集，數據庫的存儲、拓展和分析能力也十分有限。此外，由于熱軋鋼系統實時數據數據類型復雜，加上專業人士也無法對系統及領域知識所面面俱到，很難針對系統改造提出確切的需求，這使得傳統的“合作應用程序開發模式”，即通過信息技術人員與業務部門協同工作內容，在進行歸類的基礎上，標識出不同數據的主題區域成為了十分困難的事情。

發明內容

本發明所要解決的技術問題是為原有的熱軋鋼系統構建一個可用于分析挖掘的云數據倉庫，并提供一個可拓展的主題定制功能，用于對未知需求條件下的復雜數據集進行靈活的主題定制，以便于進一步對數據進行挖掘和分析。

本發明第一目的在于提出一種基于云計算的熱連軋數據主題定制系統，其特征在于，所述系統包括ETL（信息抽取）模塊、數據持久層模塊和主題定制模塊；

ETL（信息抽取）模塊，用于解析熱連軋系統數據結構，生成數據字典文件和表頭文件，將數據字典文件和表頭文件發送至數據持久層模塊，并定時對熱連軋系統采集文本數據進行格式化；

數據持久層模塊，數據持久層模塊用于根據從ETL模塊接收的所述數據字典文件和表頭文件為云數據倉庫構建數據字典和數據表，并定時將格式化后的采集文本數據歸并入云數據倉庫；

主題定制模塊，基于云數據倉庫進行主題定制。

優選地，ETL模塊包括：

數據結構解析單元，用于解析熱連軋系統數據結構生成數據字典文件和表頭文件；

結構化模板庫生成單元，用于對數據結構解析單元生成的表頭文件進行格式化生成結構化模板庫的模版文件；

文本數據格式化單元，用于將結構化模板庫里的模版文件定時加載入數據解析模板庫，對熱連軋系統采集文本數據進行格式化，并發送到數據持久層模塊。

優選地，主題定制模塊包括：

主題庫查詢單元，用于根據關鍵字查詢主題庫，確定主題庫是否存在用戶所需主題項；

經驗庫推薦單元，用于當主題庫中不存在所需主題項時，提供數據表的數據字典的屬性選擇，并將用戶所選屬性作為所需主題項屬性，并基于用戶所選屬性在經驗庫中獲取推薦主題項；

主題庫注冊單元，用于當所述推薦主題項中存在所需主題項時，將所需主題項注冊入主題庫；當所述推薦主題項中不存在所需主題項時，接受用戶自定義的新主題項，并將所述新主題項注冊入主題庫；

通信單元，在操作數據時，用于向云數據倉庫發送主題項的數據請求。

本發明另一目的在于提出一種基于云計算的熱連軋數據主題定制方法，其特征在于，該定制方法包括以下步驟：

步驟一、ETL模塊對熱連軋系統數據結構進行解析，生成數據字典文件和表頭文件，將數據字典文件和表頭文件發送至數據持久層模塊，并定時對熱連軋系統采集文本數據進行格式化；

步驟二，數據持久層模塊根據接收的數據字典文件和表頭文件，為云數據倉庫創建數據字典和數據表，并定時歸并ETL模塊格式化后的采集文本數據；

步驟三，主題定制模塊基于云數據倉庫進行主題定制。

優選地，步驟一具體包括以下步驟：

步驟1.1，ETL模塊解析熱連軋系統數據結構生成數據字典文件和表頭文件；