[發明專利]一種高并發海量數據的采集、處理和存儲的方法及系統

有效

• 申請號: 201610078465.8
• 申請日: 2016-02-04
• 公開（公告）號: CN105760452B
• 公開（公告）日: 2020-03-10
• 發明（設計）人: 李海建;黃交存
• 申請（專利權）人: 深圳市嘉力達實業有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/28
• 代理公司: 深圳中一專利商標事務所 44237
• 代理人: 張全文

1.一種高并發海量數據的采集、處理和存儲的方法，其特征在于，包括：

接收客戶端發送的會話請求；

通過鏈接通道中注冊的選擇器分配線程處理所述會話請求以建立與所述客戶端的會話，并判斷所述會話是否合法，若合法，則接收所述客戶端監測到的負載數據，包括：通過鏈接通道中注冊的選擇器分配線程處理所述會話請求，以建立與所述客戶端的會話；通過所述會話與所述客戶端進行雙向AES和MD5加密驗證；判斷所述雙向AES和MD5加密驗證是否通過；若驗證通過，則接收所述客戶端監測到的負載數據；若驗證未通過，則預警并斷開所述會話，清空所述會話；所述負載數據包括能耗數據和溫度運行參數、濕度運行參數、壓力運行參數、以及流量運行參數；

通過數據處理通道中注冊的選擇器分配線程將所述負載數據緩存至多個數據塊中，將所述多個數據塊中的負載數據發送至數據存儲通道并同步至其他節點數據庫中；

通過數據存儲通道中注冊的選擇器分配線程接收多個數據塊發送的所述負載數據，并將所述負載數據寫入主數據庫；

所述主數據庫包括關系型數據庫和非關系型數據庫，通過所述數據存儲通道中注冊的選擇器分配線程接收多個數據塊發送的所述負載數據，并將所述負載數據寫入主數據庫具體包括：

通過數據存儲通道中注冊的選擇器選擇空閑的數據存儲線程接收各個數據塊發送的負載數據；

將所述負載數據寫入所述非關系型數據庫中；

在所述非關系型數據庫中對所述負載數據進行分析統計，并對分析統計后的負載數據進行分片和分配處理，將分片和分配處理后的負載數據寫入所述關系型數據庫中對應的局部數據存儲區域，對所述關系型數據庫中的寫操作和讀操作進行分離。

2.如權利要求1所述的高并發海量數據的采集、處理和存儲的方法，其特征在于，通過所述數據處理通道中注冊的選擇器分配線程將所述負載數據緩存至多個數據塊中，并將所述多個數據塊中的負載數據發送至數據存儲通道并同步至其他節點數據庫中具體包括：

通過數據處理通道中注冊的選擇器選擇空閑的數據處理線程將所述會話中的負載數據緩存至多個數據塊中；

判斷緩存至各個數據塊中的負載數據是否為明文；

若不是明文，則讀取并解析所述負載數據的報文頭以獲取所述報文頭中指定的消息主體的長度，并根據所述消息主體的長度判斷各個數據塊中的負載數據是否為一條完整的消息；若為一條完整的消息，則對所述負載數據進行解碼，并判斷解碼后的負載數據是否正常，若正常，則將解碼后的負載數據發送至數據存儲通道并且同步至其他節點數據庫，若異常，則進行數據異常報警；

若是明文，則直接判斷所述負載數據是否正常，若正常，則將所述負載數據發送至所述數據存儲通道并且同步至其他節點數據庫，若異常，則進行數據異常報警；

釋放對所述會話中的負載數據進行緩存處理的數據處理線程。

3.如權利要求1所述的高并發海量數據的采集、處理和存儲的方法，其特征在于，所述關系型數據庫包括寫數據庫和讀數據庫，在所述非關系型數據庫中對所述負載數據進行分析統計，并對分析統計后的負載數據進行分片和分配處理，將分片和分配處理后的負載數據寫入所述關系型數據庫中的局部數據存儲區域具體包括：

在所述非關系型數據庫中對所述負載數據進行分析統計，并對分析統計后的負載數據進行分片和分配處理，將分片和分配處理后的負載數據寫入所述寫數據庫中對應的局部數據存儲區域并且同步至所述讀數據庫中對應的局部數據存儲區域。