[發明專利]一種流式處理物聯網數據的方法

在審

• 申請號: 201711352758.1
• 申請日: 2017-12-15
• 公開（公告）號: CN108108423A
• 公開（公告）日: 2018-06-01
• 發明（設計）人: 吳少東;閔早華;張祿宇
• 申請（專利權）人: 吉旗（成都）科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京權智天下知識產權代理事務所(普通合伙) 11638
• 代理人: 劉玉欣

本發明公開了一種流式處理物聯網數據的方法，包括原始數據收集，臟數據過濾，機構數據補全，省市區信息補全，經緯度運算，本發明在實際運用中，會實時接收數據,將查詢數據時拼湊數據所占用時間,分布在每一條數據入庫上,大大減少了查詢耗時，提高了查詢效率，減少了第三方服務的瞬時壓力；本發明消除了調用方在使用數據時拼湊數據問題，此外，本發明通過流隊列中數據之間的流轉提高了各個部分之間的容錯性。

技術領域

本發明涉及數據處理技術領域，具體為一種流式處理物聯網數據的方法。

背景技術

物聯網是通過各種信息傳感設備，如傳感器、射頻識別(RFID)技術、全球定位系統、紅外線感應器、激光掃描器、氣體感應器等各種裝置與技術，實時采集任何需要監控、連接、互動的物體或過程，采集其聲、光、熱、電、力學、化學、生物、位置等各種需要的信息，與互聯網結合形成的一個巨大網絡。其目的是實現物與物、物與人，所有的物品與網絡的連接，方便識別、管理和控制。聯網是新一代信息網絡技術的高度集成和綜合運用，是新一輪產業革命的重要方向和推動力量，對于培育新的經濟增長點、推動產業結構轉型升級、提升社會管理和公共服務的效率和水平具有重要意義。發展物聯網必須遵循產業發展規律，正確處理好市場與政府、全局與局部、創新與合作、發展與安全的關系。要按照“需求牽引、重點跨越、支撐發展、引領未來”的原則，著力突破核心芯片、智能傳感器等一批核心關鍵技術；著力在工業、農業、節能環保、商貿流通、能源交通、社會事業、城市管理、安全生產等領域，開展物聯網應用示范和規模化應用；著力統籌推動物聯網整個產業鏈協調發展，形成上下游聯動、共同促進的良好格局；著力加強物聯網安全保障技術、產品研發和法律法規制度建設，提升信息安全保障能力；著力建立健全多層次多類型的人才培養體系，加強物聯網人才隊伍建設。

物聯網在運行過程中產生較多的物聯網數據，現有領域中均將數據存儲在關系數據庫中，在使用數據時由調用方去查詢不同數據庫補全信息，這就造成了調用方在使用數據時的復雜性。

發明內容

本發明的目的在于提供一種流式處理物聯網數據的方法，以解決上述背景技術中提出的問題。

為實現上述目的，本發明提供如下技術方案：一種流式處理物聯網數據的方法,包括原始數據收集，臟數據過濾，機構數據補全，省市區信息補全，經緯度運算，包括以下步驟：

A、由匯通天下GSP上傳原始報文，報文經解析之后，生成原始數據存儲并發送到流隊列中；

B、通過定義的任務獲取流隊列中的數據，并進行調用第三方服務，用以補全該條數據的機構信息，處理完畢后，流經下一個任務；

C、依次經過數據收集，臟數據處理，機構數據補全，省市區信息補全，經緯度運算等五個任務；

D、最后，數據將流入特定存儲任務，存儲于非關系型數據庫以供查詢。

優選的，所述步驟C中臟數據處理方法包括以下步驟：

A、根據樣例數據和樣例數據的格式，定義數據格式，采集第一數據；

B、根據數據格式將采集的第一數據進行過濾和清洗，剔除臟數據，得到第二數據，并存儲第二數據；

C、提取第二數據并按照業務邏輯進行數據處理；將第二數據進行數據轉換；讀取轉換后的第二數據。

與現有技術相比，本發明的有益效果是：本發明公開的數據處理方法，在實際運用中，會實時接收數據,將查詢數據時拼湊數據所占用時間,分布在每一條數據入庫上,大大減少了查詢耗時，提高了查詢效率，減少了第三方服務的瞬時壓力；本發明消除了調用方在使用數據時拼湊數據問題，此外，本發明通過流隊列中數據之間的流轉提高了各個部分之間的容錯性；此外，本發明采用的臟數據處理方法能夠對采集的數據進行過濾和清洗，剔除臟數據，提高了數據收集的有效性和數據處理的效率。

具體實施方式