[發明專利]一種實時數據處理分析系統

有效

• 申請號: 201410854915.9
• 申請日: 2014-12-31
• 公開（公告）號: CN104572975B
• 公開（公告）日: 2018-09-04
• 發明（設計）人: 龔仁彬;李群;馬剛;柴永財;王從鑌;姚剛;李金諾;吳海莉
• 申請（專利權）人: 中國石油天然氣股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 賈磊

本發明提供了一種實時數據處理分析系統，所述分析系統包含：生產單元、數據采集單元、實時數據庫、數據抽取單元和關系數據庫；所述數據采集單元與所述生產單元相連，用于采集所述生產單元的實時數據并發送；所述實時數據庫與所述數據采集單元相連，用于接收所述數據采集單元發送的實時數據并存儲；所述數據抽取單元與所述實時數據庫相連，用于讀取所述實時數據庫中的實時數據并統計，將統計結果轉換后發送；所述關系數據庫與所述數據抽取單元相連，用于接收所述統計結果，并將統計結果與對應的所述數據采集單元關聯保存。以此，實現了實時數據自動轉化成關系數據的任務，提高了物聯網應用對于實時數據的利用程度，提高了應用系統的響應速度。

技術領域

本發明涉及物聯網大數據實時處理領域，特別涉及一種油田生產現場的物聯網實時數據處理分析系統。

背景技術

在物聯網環境中，采集層傳感器產生大量實時數據，這些數據通常包含時間、位置、采集信息等內容,具有明顯的顆粒性特征，由于油氣生產現場部署的傳感器的多元化、差異化以及環境的多樣化，這些數據呈現出異構性、多樣性、非結構化、有噪聲、高增長率等特征.物聯網技術的應用涉及物聯網實時大數據處理，所產生的數據量之密集、實時性之強是前所未有的,需要進行實時、高效的計算分析。物聯設備采集的數據種類眾多，數據量大，而且需要實時處理，對處理系統性能要求嚴格。所有這些凸顯物聯網實時數據抽取模型的重要性。例如，在油田生產現場采集數據的溫度傳感器、壓力變送器、流量計、有毒有害氣體傳感器、RTU以及其他傳感設備采集的大量實時數據，將通過物聯網的有線或者無線傳輸設備，上傳至應用層的實時數據庫進行匯集，根據現場采集設備的數量和采集頻率估算，實時數據庫需要處理十萬級至百萬級數據插入的并發操作，應用系統需要對這些實時數據加以分析利用，來對生產單元當時的生產狀態進行判斷、統計，幫助系統用戶了解實時生產情況。由于實時數據量大、實時性高，普通的應用系統無法及時處理實時數據，或者處理起來很慢，達不到實時監視生產單元狀態、統計生產情況的效果，這勢必影響正常的生產運行，采用先進的物聯網實時數據抽取模型處理分析實時數據，是提高物聯網應用效果的一種必然的技術發展方向。

發明內容

本發明的目的是為了解決物聯網系統中產生的大量實時數據的抽取分析等問題，為物聯網應用提供高性能解決方案，尤其是生產單元實時狀態以及生產情況統計的應用，針對這些問題提出一種物聯網實時數據抽取模型，并為實現該目的提出一種實時數據處理分析系統。

本發明所提供的實時數據處理分析系統，具體包含：生產單元、數據采集單元、實時數據庫、數據抽取單元和關系數據庫；所述數據采集單元與所述生產單元相連，用于采集所述生產單元的實時數據并發送；所述實時數據庫與所述數據采集單元相連，用于接收所述數據采集單元發送的實時數據并存儲；所述數據抽取單元與所述實時數據庫相連，用于讀取所述實時數據庫中的實時數據并統計，將統計結果轉換后發送；所述關系數據庫與所述數據抽取單元相連，用于接收所述統計結果，并將統計結果與對應的所述數據采集單元關聯保存。

在上述實時數據處理分析系統中，所述實時數據庫與所述數據采集單元通過光纖連接或無線連接。

在上述實時數據處理分析系統中，所述數據抽取單元包含：客戶端與分布式服務端。

在上述實時數據處理分析系統中，所述客戶端用于：獲取所述生產單元數量；檢測分布式服務端數量；根據分布式服務端數量，創建客戶端從線程，所述客戶端從線程與對應的服務端通信；計算每個服務端轉化的實時數據。

在上述實時數據處理分析系統中，所述客戶端的控制方法包含：所述客戶端包含主線程和從線程；主線程根據配置文件，啟動物聯網實時數據抽取任務周期；主線程統計所有監測生產單元ID；主線程根據配置文件，測試服務端通信接口，統計可用的分布式服務端地址和數量；主線程根據分布式服務端數量，按照公式計算分配給每個服務端的檢測生產單元ID范圍；主線程循環等待各個從線程對服務端的任務完成情況的反饋，直到所有檢測生產單元的實時數據完成抽取和轉化；完成一個客戶端任務周期，主線程按照配置，啟動下一個物聯網實時數據抽取任務。