[發(fā)明專利]實現(xiàn)可再生能源監(jiān)測系統(tǒng)數(shù)據(jù)采集服務(wù)的方法和裝置

有效

• 申請?zhí)枺?/td>: 201110414050.0
• 申請日: 2011-12-13
• 公開（公告）號: CN102497427A
• 公開（公告）日: 2012-06-13
• 發(fā)明（設(shè)計）人: 李迪;李裕;李震;王薇薇;韓隨旗;林茂多;蔣義新
• 申請（專利權(quán)）人: 山東省建筑科學(xué)研究院
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 濟(jì)南舜源專利事務(wù)所有限公司 37205
• 代理人: 曲志波

技術(shù)領(lǐng)域

本發(fā)明涉及一種數(shù)據(jù)采集方法，尤其涉及一種實現(xiàn)可再生能源監(jiān)測系統(tǒng)數(shù)據(jù)采集服務(wù)的方法。

背景技術(shù)

通常情況下，基于TCP協(xié)議進(jìn)行數(shù)據(jù)通信的服務(wù)端可以采用以下兩種方案對服務(wù)端軟件進(jìn)行設(shè)計。方案一：使用多線程技術(shù)，對于每一個客戶端連接（即連接套接字）都開啟一個線程進(jìn)行處理，從而保證服務(wù)端的時效性。分析：雖然使用多線程處理使服務(wù)端的時效性得到了提高，但是一旦存在大量的客戶端連接（工程實際中是有可能的），服務(wù)端將要開啟大量的線程進(jìn)行處理，勢必將對服務(wù)器性能有很高的要求；一旦客戶端連接意外斷開，已經(jīng)開啟的線程資源如果得不到及時的回收，將造成系統(tǒng)資源的極大浪費和性能的降低。方案二：建立一個連接套接字隊列，采用輪詢的方法對隊列中的每一個客戶端連接進(jìn)行數(shù)據(jù)讀取操作。分析：雖然此方案避免了大量線程資源的開支，但是降低了服務(wù)端的時效性。因為無法確定每一個客戶端連接是否發(fā)送數(shù)據(jù)，因此必須對每一個客戶端進(jìn)行一次讀取操作，無法及時對發(fā)送數(shù)據(jù)的客戶端進(jìn)行響應(yīng)處理，降低了服務(wù)端的系統(tǒng)效率。

在工程實際中，使用TCP鏈接發(fā)送數(shù)據(jù)的時候，待發(fā)送的數(shù)據(jù)包如果過長，則會被自動分段發(fā)送。如果過短，則會被自動復(fù)合成較長的數(shù)據(jù)包再發(fā)送。特別是在數(shù)據(jù)量比較大且連續(xù)發(fā)送的時候更為明顯。因此容易造成對數(shù)據(jù)包處理錯誤的問題，即當(dāng)數(shù)據(jù)包被分段時，處理數(shù)據(jù)不完整；數(shù)據(jù)包被復(fù)合時錯誤的當(dāng)做一個數(shù)據(jù)包來處理。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是一方面通過網(wǎng)絡(luò)與采集器終端連接獲取監(jiān)測數(shù)據(jù)；另一方面將獲取的監(jiān)測數(shù)據(jù)進(jìn)行數(shù)據(jù)解析、保存等處理，為數(shù)據(jù)展示系統(tǒng)提供數(shù)據(jù)基礎(chǔ)。

本發(fā)明還解決了基于TCP協(xié)議客戶端連接長時間在線的高效管理問題；同時還解決了大數(shù)據(jù)包在網(wǎng)絡(luò)傳輸中自動分段傳輸造成的數(shù)據(jù)不完整而出現(xiàn)處理錯誤的問題。

本發(fā)明的應(yīng)用環(huán)境適用于Windows?Server??2003以上操作系統(tǒng)，部署Microsoft?.NET?Framework?3.5框架和SQL?Server?2005以上版本的操作系統(tǒng)平臺。

本系統(tǒng)可應(yīng)用于可再生能源建筑應(yīng)用示范項目數(shù)據(jù)監(jiān)測系統(tǒng)中，作為動態(tài)監(jiān)測子系統(tǒng)使用。主要完成與數(shù)據(jù)采集器的數(shù)據(jù)通信功能，將數(shù)據(jù)采集器上報的數(shù)據(jù)進(jìn)行AES解密、解析處理、寫入數(shù)據(jù)庫等操作，為數(shù)據(jù)展示子系統(tǒng)提供數(shù)據(jù)支持，是實現(xiàn)數(shù)據(jù)監(jiān)測的重要環(huán)節(jié)。

本系統(tǒng)使用了多線程處理技術(shù)，可完成大量采集客戶端同時連接并完成數(shù)據(jù)通信服務(wù)。本系統(tǒng)是基于TCP協(xié)議的網(wǎng)絡(luò)通信服務(wù)端，將長時間保持與作為客戶端的數(shù)據(jù)采集器進(jìn)行數(shù)據(jù)通信，與客戶端進(jìn)行通信時，必須建立一個連接套接字（socket），有多少個客戶端就有多少個連接套接字，因此作為服務(wù)端如何對多個連接套接字進(jìn)行管理將直接影響到服務(wù)端性能和效率。

本發(fā)明為解決技術(shù)問題所采用的技術(shù)措施是：一種實現(xiàn)可再生能源監(jiān)測系統(tǒng)數(shù)據(jù)采集服務(wù)的方法，它包括如下步驟：

系統(tǒng)配置管理步驟，完成本系統(tǒng)基本配置項信息，包括數(shù)據(jù)庫連接、TCP監(jiān)聽端口、本地IP地址信息的設(shè)置、修改等功能；

公共數(shù)據(jù)緩存步驟，是本系統(tǒng)開辟的數(shù)據(jù)緩存單元，其中包括了系統(tǒng)常量和數(shù)據(jù)緩存兩個子步驟。公共數(shù)據(jù)緩存步驟中存儲的數(shù)據(jù)作為本系統(tǒng)的全局系統(tǒng)變量來使用，為本系統(tǒng)通信管理步驟、數(shù)據(jù)安全處理功能模塊提供數(shù)據(jù)，減少本系統(tǒng)與外部文件的讀寫操作，提高系統(tǒng)效率；所述公共數(shù)據(jù)緩存步驟包括系統(tǒng)常量和數(shù)據(jù)緩存兩個子步驟，系統(tǒng)常量是本系統(tǒng)各個功能模塊使用到的、數(shù)值變更頻率較低的系統(tǒng)變量，在系統(tǒng)啟動后進(jìn)行初始化時從系統(tǒng)配置文件或者本地數(shù)據(jù)庫中獲得賦值；數(shù)據(jù)緩存是本系統(tǒng)各個功能模塊使用到的、數(shù)值變更頻率較高、數(shù)據(jù)量較大的系統(tǒng)變量，在系統(tǒng)啟動后進(jìn)行數(shù)據(jù)傳輸通信過程中產(chǎn)生的大量的交換數(shù)據(jù)。

日志處理步驟，日志處理步驟將系統(tǒng)運(yùn)行過程中產(chǎn)生的錯誤信息、必要的提示信息等通過UI界面顯示，并且記錄到系統(tǒng)的日志文件中，便于對系統(tǒng)運(yùn)行情況進(jìn)行監(jiān)測，對于出現(xiàn)系統(tǒng)故障時，提供相關(guān)信息便于對系統(tǒng)故障原因的定位及處理。

通信管理步驟，主要完成本系統(tǒng)與數(shù)據(jù)采集器之間通信處理過程，包括對客戶端連接的管理、接收到的數(shù)據(jù)解析、向數(shù)據(jù)采集器進(jìn)行通信應(yīng)答等功能。通信管理步驟包括：