[發(fā)明專利]一種用于污水處理廠之間異構(gòu)數(shù)據(jù)的采集存儲方法

有效

• 申請?zhí)枺?/td>: 201410175754.0
• 申請日: 2014-04-29
• 公開（公告）號: CN103970914B
• 公開（公告）日: 2017-08-11
• 發(fā)明（設(shè)計）人: 孟虎;李曉潔;陳志華;夏效勝;劉勝軍
• 申請（專利權(quán)）人: 合肥城市云數(shù)據(jù)中心股份有限公司
• 主分類號: G06F17/40
• 分類號: G06F17/40
• 代理公司: 合肥天明專利事務(wù)所(普通合伙)34115
• 代理人: 張祥騫,奚華保

1.一種用于污水處理廠之間異構(gòu)數(shù)據(jù)的采集存儲方法，其特征在于，包括以下步驟：

11）定義數(shù)據(jù)字典，各家污水處理廠定義自己的數(shù)據(jù)字典；

所述的定義數(shù)據(jù)字典包括以下步驟：

111）每個污水處理廠分別注冊數(shù)據(jù)字典中處理廠字典信息，包括處理廠名稱和位置信息，生成唯一的處理廠標(biāo)識；

112）采用CSV文件定義數(shù)據(jù)字典，包括工藝流程字典、設(shè)備字典、采集點字典，工藝流程字典、設(shè)備字典、采集點字典均由表頭和實例組成；表頭包括必要字段和擴(kuò)展字段，必要字段為每個處理廠都必須提供的字典信息，擴(kuò)展字段為根據(jù)實際情況增加的信息；其中：

工藝流程字典為對處理廠污水處理工藝的定義，表頭包含的必要字段包括標(biāo)識ID和流程的名稱，實例為組成該污水處理廠處理工藝的各個節(jié)點信息；

設(shè)備字典為對處理廠中各種設(shè)備的定義，表頭包含的必要字段包括標(biāo)識ID、設(shè)備名字和設(shè)備所屬的工藝節(jié)點，實例為處理廠中的各種設(shè)備；

采集點字典為對數(shù)據(jù)采集點的定義，表頭包含的必要字段包括標(biāo)識ID、采集點描述、采集點在報表展示的字段、生成報表時的計算公式、采集數(shù)據(jù)的類型、數(shù)據(jù)的單位、數(shù)據(jù)正常范圍的最大最小值、設(shè)備所屬設(shè)備信息和虛擬點數(shù)據(jù)，虛擬點數(shù)據(jù)以virtual_前綴定義；

113）將數(shù)據(jù)字典CSV文件與處理廠字典信息相關(guān)聯(lián)，建立處理廠名稱與相應(yīng)處理廠數(shù)據(jù)字典的對應(yīng)；

12）調(diào)取數(shù)據(jù)，數(shù)據(jù)接入模塊從多個污水處理廠獲取污水處理廠現(xiàn)場數(shù)據(jù)，存入數(shù)據(jù)緩沖池中；

13）數(shù)據(jù)轉(zhuǎn)化，數(shù)據(jù)緩沖池定期把數(shù)據(jù)接入模塊的數(shù)據(jù)寫成包含數(shù)據(jù)字典的自解釋數(shù)據(jù)文件；其以下步驟：

131）數(shù)據(jù)緩沖池采用FIFO機(jī)制接收J(rèn)son格式的上報數(shù)據(jù)，讀取出的數(shù)據(jù)從緩沖池中刪除并傳給存儲模塊，被處理成自解釋數(shù)據(jù)文件，自解釋數(shù)據(jù)文件的文件名以讀取時的時間戳命名；

132）通過數(shù)據(jù)緩沖池定期生成自解釋數(shù)據(jù)文件，自解釋數(shù)據(jù)文件包括字典部分和數(shù)據(jù)部分，將處理廠字典信息添加至字典部分前面，在工藝流程ID、設(shè)備ID、采集點ID中將處理廠ID加在前面做為前綴；數(shù)據(jù)部分的表頭為采集點ID、采集時間、采集數(shù)值，在采集點ID前面添加處理廠ID做為前綴，采集數(shù)值為緩沖池中處理周期內(nèi)保存的所有采集數(shù)據(jù)；

14）數(shù)據(jù)文件存儲，存儲模塊定期解析自解釋數(shù)據(jù)文件，將數(shù)據(jù)字典和采集數(shù)據(jù)存儲到NoSQL數(shù)據(jù)庫中。

2.根據(jù)權(quán)利要求1所述的一種用于污水處理廠之間異構(gòu)數(shù)據(jù)的采集存儲方法，其特征在于所述的調(diào)取數(shù)據(jù)包括以下步驟：

21）數(shù)據(jù)接入模塊以web server的方式將數(shù)據(jù)上報接口提供給各家污水處理廠；

22）污水處理廠組建上報數(shù)據(jù)，上報數(shù)據(jù)包括處理廠的標(biāo)識ID和采集數(shù)據(jù)，采集數(shù)據(jù)中包括采集時間、采集點標(biāo)識ID、采集數(shù)值，處理廠標(biāo)識ID和采集點標(biāo)識ID，從處理廠的數(shù)據(jù)字典中調(diào)取對應(yīng)的處理廠標(biāo)識ID和采集點標(biāo)識ID；

23）上報數(shù)據(jù)使用Json格式進(jìn)行編碼并發(fā)送至數(shù)據(jù)緩沖池，其數(shù)據(jù)格式如下：

factory_id：從數(shù)據(jù)字典模塊注冊得到的處理廠標(biāo)識ID；data：數(shù)組集合；data包括以下數(shù)據(jù)格式：datatime：信號點采集的時間；signal_id：在數(shù)據(jù)字典模塊定義的信號點標(biāo)識ID；value：信號點值。