[發明專利]數據采集和監視控制系統及該系統的數據處理方法

有效

• 申請號: 201310421164.7
• 申請日: 2013-09-17
• 公開（公告）號: CN103514273A
• 公開（公告）日: 2014-01-15
• 發明（設計）人: 陳華;諶志欽;貝毅君;王寬
• 申請（專利權）人: 寧波東冠科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 寧波市鄞州甬致專利代理事務所(普通合伙) 33228
• 代理人: 李迎春

技術領域

本發明涉及一種數據采集和監視控制系統及該系統的數據處理方法。

背景技術

數據采集和監視控制系統，即SCADA(Supervisory?Control?And?Data?Acquisition)，它是以計算機為基礎的生產過程控制與調度自動化系統，它可以對現場的運行設備進行監視和控制，以實現數據采集、測量、各類信號報警、設備控制以及參數調節等各項功能，它應用領域很廣，可以應用于電力、冶金、石油、化工、供水等領域的數據采集與監視控制以及過程控制等。

SCADA系統的主要特征是隨著系統的運行，每天都會產生一定量的采集數據，對于一個供水行業中等規模的管網應用SCADA系統，每天的采集數據可能達到千萬級。存取記錄總數為億級的表，對于關系數據庫而言會因為數據存儲量太大而使得查詢速度較慢，同時不斷增長的采集數據也會面臨海量數據存儲的問題，關系數據庫系統很難通過簡單增加更多的硬件和服務節點的方式來擴展數據存取性能和負載能力。

發明內容

本發明所要解決的技術問題是，提供數據存儲空間較容易擴展、可以實現對海量數據的高效率存取的數據采集和監視控制系統。

為解決上述技術問題，本發明提供的數據采集和監視控制系統，它包括依次通訊連接的客戶端、服務器和關系數據庫，它還包括與服務器通訊連接的非關系數據庫。

本發明所要解決的另一個技術問題是，提供可以實現對海量數據的高效率存取的數據采集和監視控制系統的數據處理方法。

為解決上述技術問題，本發明提供的數據采集和監視控制系統的數據處理方法，它包括以下步驟：

（1）、當某類數據為非結構化數據或半結構化數據，且該類數據的記錄總數大于等于N時，將該類數據以鍵值對(Key-Value)的方式存儲到非關系數據庫；

當某類數據為非結構化數據或半結構化數據，且該類數據的記錄總數小于N時，將該類數據存儲到關系數據庫；

當某類數據為結構化數據時，將該類數據存儲到關系數據庫；

（2）、對于存儲在關系數據庫中的數據，將經常作為查詢條件的字段建立索引；

對于存儲在非關系數據庫中的數據，將作為查詢條件的字段設置為行鍵(RowKey)的組成部分；

（3）、查詢結構化數據時，根據用戶的查詢條件從關系數據庫獲取符合條件的數據；

查詢存儲在關系數據庫中的非結構化數據和半結構化數據時，根據用戶的查詢條件從關系數據庫獲取符合條件的數據；

查詢存儲在非關系數據庫中的非結構化數據和半結構化數據時，先根據查詢條件從關系數據庫獲取信息來生成所需數據的行鍵范圍，根據該行鍵范圍從非關系數據中獲取符合條件的數據。

將非結構化數據和半結構化數據存儲到非關系數據庫時，存儲的步驟是先從關系數據庫中獲取對應的信息生成該數據的行鍵，然后將該數據以鍵值對(Key-Value)的方式保存到非關系數據庫。

所述的N為5億條。

采用以上系統和方法后，本發明與現有技術相比，具有以下的優點：

存儲結構簡單、記錄總數較多的非結構化數據和半結構化數據時，采用非關系數據庫存儲；存儲結構簡單、記錄總數較少的非結構化數據和半結構化數據時，采用關系數據庫存儲；存儲結構化數據時，由于結構化數據具有結構復雜、記錄總數不多特性，采用關系數據庫來存儲；非關系數據庫對海量數據的高效率的存取，很好地解決了關系數據庫海量數據存取效率方面的問題，并且非關系數據庫的可擴展性和高可用性的特點，通過簡單地增加非關系數據庫服務器就能夠擴展數據的存儲，使得數據存儲空間較容易擴展。

附圖說明

圖1是本發明數據采集和監視控制系統的結構示意圖；

其中，1、客戶端；2、服務器；3、非關系數據庫；4、關系數據庫。

具體實施方式

結合某水司的管網供水的SCADA系統的工作原理和過程，對本發明的技術方案進一步說明。