[發(fā)明專利]一種利用非關系數(shù)據(jù)庫存儲海量工業(yè)設備監(jiān)測數(shù)據(jù)的方法

有效

• 申請?zhí)枺?/td>: 201310617021.3
• 申請日: 2013-11-28
• 公開（公告）號: CN103631912A
• 公開（公告）日: 2014-03-12
• 發(fā)明（設計）人: 王建民;劉英博;張力;鐘雨
• 申請（專利權）人: 清華大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京清亦華知識產(chǎn)權代理事務所(普通合伙) 11201
• 代理人: 羅文群

技術領域

本發(fā)明涉及一種利用非關系數(shù)據(jù)庫存儲海量工業(yè)設備監(jiān)測數(shù)據(jù)的方法，屬于計算機數(shù)據(jù)庫管理技術領域。

背景技術

隨著制造業(yè)的迅猛發(fā)展，在面向大型設備的企業(yè)信息化過程中，越來越多的傳感器被應用到工業(yè)生產(chǎn)線和工程機械設備中，進而產(chǎn)生了大量工業(yè)設備監(jiān)測數(shù)據(jù)。這些數(shù)據(jù)通常產(chǎn)生于工程機械設備上大量的傳感器，并實時地通過移動網(wǎng)絡發(fā)送給服務平臺，并存儲在中心數(shù)據(jù)庫中。通過存儲、分析這些數(shù)據(jù)，企業(yè)可以挖掘具有商業(yè)價值的信息，對工業(yè)生產(chǎn)的設計、制造、銷售、使用與維護等生命周期都有借鑒意義。例如，對機械產(chǎn)品進行故障預警或者故障診斷時，通過對監(jiān)測數(shù)據(jù)的分析，可以挖掘機械設備發(fā)生故障前監(jiān)測數(shù)據(jù)的規(guī)律，對即將發(fā)生的故障進行預警。

工業(yè)設備監(jiān)測數(shù)據(jù)多以時序數(shù)據(jù)為主，通常具有數(shù)據(jù)量大、連續(xù)、易丟失、具有高度的領域相關性等特點，是一種典型的流數(shù)據(jù)。由于絕大部分監(jiān)測數(shù)據(jù)由傳感器產(chǎn)生，一個傳感器可以監(jiān)控一個物理量（Key）的值（Value），因此監(jiān)測數(shù)據(jù)實際上是以鍵值對（Key-Value）的形式存在的。由于企業(yè)新產(chǎn)品的不斷增加，監(jiān)測數(shù)據(jù)的模型不斷變化，數(shù)據(jù)的類型也會隨著需要進行變化。

目前，絕大多數(shù)機械設備制造企業(yè)使用關系數(shù)據(jù)庫（如Oracle）存儲監(jiān)測數(shù)據(jù)，并通過數(shù)據(jù)分區(qū)技術進行存儲。通過將監(jiān)測數(shù)據(jù)按時間切分，只將最近的數(shù)據(jù)存放于在線數(shù)據(jù)庫中，其余的歷史數(shù)據(jù)以離線的方式存放在備用存儲中。

通過數(shù)據(jù)庫分區(qū)技術存在下面的問題：首先，通過數(shù)據(jù)分區(qū)技術，只能將海量監(jiān)測數(shù)據(jù)中很少量的部分存放于在線數(shù)據(jù)庫中，通常是最近幾個月的數(shù)據(jù)，聯(lián)機分析處理（OLAP）應用只能夠對這些數(shù)據(jù)進行處理；其次，傳統(tǒng)的關系數(shù)據(jù)庫需要固定的模型來描述數(shù)據(jù)，因此難以適應監(jiān)測數(shù)據(jù)模型多變的特點；再次，傳統(tǒng)數(shù)據(jù)庫很難進行橫向擴展，對于容量擴充的需求只能通過停機維護和數(shù)據(jù)遷移來實現(xiàn)，時間和財力成本較高；最后，傳統(tǒng)的關系數(shù)據(jù)庫難以滿足高并發(fā)讀寫的需求，并且對硬件性能要求較高，當數(shù)據(jù)量達到百億級時，對歷史數(shù)據(jù)大規(guī)模的查詢操作將難以完成，小范圍的查詢操作也變得緩慢，并發(fā)數(shù)據(jù)寫入的性能難以滿足需求。

發(fā)明內容

本發(fā)明的目的是提出一種利用非關系數(shù)據(jù)庫存儲海量工業(yè)設備監(jiān)測數(shù)據(jù)的方法，以避免傳統(tǒng)關系數(shù)據(jù)庫在管理海量監(jiān)測數(shù)據(jù)時的缺點，有效存儲海量的設備監(jiān)測數(shù)據(jù)，并能夠支持快速數(shù)據(jù)查詢與分析，使得企業(yè)能夠對海量監(jiān)測數(shù)據(jù)進行查詢和分析，挖掘監(jiān)測數(shù)據(jù)中具有商業(yè)價值的信息，最終達到對工業(yè)生產(chǎn)的設計、制造、銷售、使用與維護等方面提供借鑒的目的。

本發(fā)明提出的利用非關系數(shù)據(jù)庫存儲海量工業(yè)設備監(jiān)測數(shù)據(jù)的方法，包括以下步驟：

（1）使多個非結構化數(shù)據(jù)管理系統(tǒng)組成一個具有分布式結構的非關系數(shù)據(jù)庫集群；

（2）從關系數(shù)據(jù)庫中讀取海量工業(yè)設備監(jiān)測數(shù)據(jù)，并將讀取的監(jiān)測數(shù)據(jù)以逗號分隔的文本文件形式存儲到多臺客戶機中，具體過程為：

（2-1）使用鏡像磁盤陣列克隆方法，將關系數(shù)據(jù)庫中在線磁盤陣列中的海量工業(yè)設備監(jiān)測數(shù)據(jù)拷貝到關系數(shù)據(jù)庫中離線鏡像磁盤陣列中，并使在線磁盤陣列與關系數(shù)據(jù)庫斷開，使離線鏡像磁盤陣列與關系數(shù)據(jù)庫相連；

（2-2）使多臺客戶機的客戶端與關系數(shù)據(jù)庫相連，客戶端按天讀取關系數(shù)據(jù)庫離線鏡像磁盤陣列中的海量工業(yè)設備監(jiān)測數(shù)據(jù)；

（2-3）將上述海量工業(yè)設備監(jiān)測數(shù)據(jù)以逗號分隔的文本文件形式存儲到客戶機上，文件格式為：“設備編號，監(jiān)測數(shù)據(jù)標識，接收時間，監(jiān)測值”；

（3）建立一個非關系數(shù)據(jù)庫存儲模式，具體步驟如下：

（3-1）使客戶機的客戶端與非關系數(shù)據(jù)庫相連；

（3-2）分別將上述以逗號分隔的文本文件中的監(jiān)測數(shù)據(jù)標識作為列族名、設備編號作為行鍵、接收時間作為列名、監(jiān)測值作為列值，建立一個非關系數(shù)據(jù)庫的自由表模式；

（3-3）設置非關系數(shù)據(jù)庫為多備份；

（4）將客戶機上的上述以逗號分隔的文本文件導入到非關系數(shù)據(jù)庫集群中，導入過程如下：

（4-1）使客戶機上的客戶端與非關系數(shù)據(jù)庫集群的底層接口相連，并將非關系數(shù)據(jù)庫集群的寫入一致性級別設置為最終一致性；

（4-2）客戶端從客戶機上按天讀取上述以逗號分隔的文本文件，并根據(jù)步驟（2-3）的文件格式對讀取的文件進行解析，得到工業(yè)設備監(jiān)測數(shù)據(jù)，并將工業(yè)設備監(jiān)測數(shù)據(jù)存儲在客戶機的內存中；

（4-3）將客戶機內存中的工業(yè)設備監(jiān)測數(shù)據(jù)寫入非關系數(shù)據(jù)庫集群中。

本發(fā)明提出的利用非關系數(shù)據(jù)庫存儲海量工業(yè)設備監(jiān)測數(shù)據(jù)的方法，其優(yōu)點是：