[發明專利]一種基于實時地理位置數據流處理方法

在審

• 申請號: 201310686779.2
• 申請日: 2013-12-12
• 公開（公告）號: CN103699607A
• 公開（公告）日: 2014-04-02
• 發明（設計）人: 鄒瑜斌;張帆;彭賢斌;須成忠
• 申請（專利權）人: 深圳先進技術研究院
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 深圳市科進知識產權代理事務所(普通合伙) 44316
• 代理人: 沈祖鋒;郝明琴

技術領域

本發明涉及實時交通技術領域，特別是涉及一種基于分布式計算的實時地理位置數據流處理方法及系統。

背景技術

近年來城市機動車的數量急速增長，引發了許多諸如堵車、停車難、打車難等嚴重影響老百姓出行質量的問題。同時城市的交通網絡也日趨復雜，對一個完善的管理系統的要求越來越高。在未來構建智能城市的藍圖中，智能交通可謂是重中之重。大數據時代的到來為智能交通的建立提供了一個契機，然而數據量的爆炸性增長，如何高效地處理這些數據成為了一個急需解決的問題，其中一個思路就是在數據產生時實時處理這些數據，一方面減少后期計算的壓力，一方面又可以提供高時效性的數據服務。

實時交通數據主要有一下特點：（1）數據的維度大，不但包含了GPS載體的位置坐標信息，而且還包含了載體的狀態信息，如當前到達的位置名稱、實時速度、實時海拔高度、載體設備的狀態等等，因此要求處理框架能夠識別并且支持各個維度的數據的計算。（2）數據量大，由于GPS載體的多樣性，包含了公交車、出租車、物流車、私家車、個人手機等等，并且GPS載體的數量巨大，因此每秒產生的數據量極其巨大，因此要求處理框架能夠可規模化擴展以承擔海量實時數據的分發和計算。（3）異常數據多，GPS設備種類眾多，受到衛星定位的精度，定位設備的限制，網絡信號等多種客觀并且不可預知的因素的影響，導致數據中存在大量不可預知的數據，因此要求處理框架能夠實時高效地清洗或者修正這些異常數據。

現有最常用的技術把接收的數據保存在存儲介質中，由后臺處理單元在固定的時間間隔進行批量處理計算。

由于現有的常用技術使用批量處理實時接收到的數據，無法保證時效性，可靠性、數據一致性、和計算規模的可擴展性。

發明內容

本發明采用一種基于分布式計算的實時地理位置數據流處理方法，實現了對實施交通數據的大規模可靠的實時計算處理，保證了數據的可靠性，一致性和計算規模的可擴展性。

本發明采用如下方案：

一種基于分布式計算的實時地理位置數據流處理方法，包括：

獲取實時地理位置數據；

對所述數據進行解析；

對解析后得到的異常數據進行修正；

對解析后得到的正確數據和通過修正異常數據后得到的正確數據進行一致性操作；

對一致性操作后得到的數據進行計算；

將經過計算得到的數據寫入數據庫。

優選地，所述獲取的實時地理位置數據為二進制數據，可以通過網絡socket讀入，也可以是數據存儲介質中的文件讀入。

優選地，在所述對所述數據進行解析的步驟中，將所述獲取到的每份實時地理位置數據解析成為獨立的字段。

優選地，在所述對解析后得到的數據進行修正的步驟中，忽略無異常的數據記錄，只處理異常的數據記錄。

優選地，所述數據獲取，數據解析，數據修正，數據計算，數據寫入，按shuffle?grouping機制和field?grouping機制在當前步驟的多個線程和進程中進行分發，數據在各個線程和進程獨立地進行計算處理。

優選地，所述數據在各個線程或進程之間的分發機制包含shuffle?grouping機制和field?grouping機制。

一種基于分布式計算的實時地理位置數據流處理系統，其特征在于：所述系統包括數據獲取模塊，數據解析模塊，數據修正模塊，數據一致性保證模塊，數據計算模塊和數據寫入模塊；其特征在于，所述系統采用權利要求1～6任一項所述的方法進行數據流處理。

本發明公開的一種基于分布式計算的實時地理位置數據流處理方法及系統，通過數據獲取，數據解析，數據修正，數據一致性操作，數據計算和數據寫入，能實現對實時交通數據的大規模可靠的實時計算處理。保證了數據的可靠性，一致性和計算規模的可擴展性。

附圖說明

圖1為本發明實施例1一種基于分布式計算的實時地理位置數據流處理方法；

圖2為本發明實施例2一種基于分布式計算的實時地理位置數據流處理系統。

具體實施方式

為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，并不用于限定本發明。

本發明實施例提供了一種基于分布式計算的實時地理位置數據流處理方法，其特征在于，包括：

獲取實時地理位置數據；

對所述數據進行解析；

對解析后得到的異常數據進行修正；