[發明專利]一種GPS海量數據處理方法

有效

• 申請號: 201210533352.4
• 申請日: 2012-12-11
• 公開（公告）號: CN103064890A
• 公開（公告）日: 2013-04-24
• 發明（設計）人: 簡書杰
• 申請（專利權）人: 泉州豪杰信息科技發展有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 廈門市誠得知識產權代理事務所(普通合伙) 35209
• 代理人: 方惠春

技術領域

本發明涉及海量數據處理領域，特別涉及一種GPS海量數據處理方法。

背景技術

隨著科技的發展和生活水平的提高，GPS在生活中的應用越來越廣泛，GPS導航設備逐漸成為汽車行業很重要的一款設備，對汽車定位有了更精確的描述和汽車安全方面有了很大的提高。

同時，由于整個系統接入的GPS導航設備可能有幾十萬到百萬，進而給處理這些海量的GPS數據帶來很大的困擾。假設每個GPS導航設備按照設定的周期定期上報數據，例如每30秒上報一條GPS數據，每天就有2880條數據，這樣的話，在接入的GPS導航設備多時，例如有100萬臺GPS導航設備，其上報的數據量非常龐大：每天要處理的數據量僅GPS數據就有2880*1000000?=?2,880,000,000條數據，平均每秒要處理及存儲上萬筆記錄。

現有的數據一般都采用關系數據庫存儲，如Oracle，Mysql，Mssqlserver等，GPS數據庫服務器在達到一定的數據量后，關系數據庫的查詢就會變得非常慢，造成查詢效率嚴重低下，有時候GPS數據庫服務器的CPU使用率可達百分之百，也影響了其他業務數據的存儲和查詢。因此，目前急需一種可處理如此海量的數據的方法。

發明內容

因此，針對上述的問題，本發明提出一種GPS海量數據處理方法，其采用新穎的數據處理機制，可提高GPS數據的處理速度，縮短數據存儲和查詢的時間，進而解決現有技術的問題。

為解決此技術問題，本發明采用了以下技術方案：

本發明提供一種GPS海量數據處理方法，用于處理服務器接收到的GPS海量數據，該服務器包括若干臺GPS數據庫服務器和若干臺GPS應用服務器，GPS應用服務器用于接收GPS海量數據、分配接收到的GPS海量數據到不同的GPS數據庫服務器、并對GPS海量數據進行處理，GPS數據庫服務器用于存儲GPS應用服務器分配給它的GPS海量數據；該方法包括以下步驟：

步驟1：設置若干臺GPS數據庫服務器，組成分布式數據庫服務器集群；設置若干臺GPS應用服務器，組成分布式應用服務器集群；其中，GPS數據庫服務器上的數據庫采用Oracle數據庫；

步驟2：根據定位終端的位置將GPS導航設備上報的GPS數據進行區域劃分，將劃分后的GPS數據分散至不同的GPS應用服務器；

步驟3：不同的GPS應用服務器接收到GPS數據后，對該GPS數據進行分類，將分類后的GPS數據發送至不同的GPS數據庫服務器進行存儲；上述GPS數據包括定位終端標識、定位終端位置（經度、緯度）、定位終端速度、定位時間（開始時間和結束時間）等信息數據；該定位終端可以安裝在車輛上，也可以安裝在其他移動終端上；

步驟4：當需要對GPS數據進行查詢時，GPS應用服務器接收用戶的查詢請求，該查詢請求至少包括定位終端標識和定位時間，GPS應用服務器首先根據定位終端標識找到存儲該GPS數據的GPS數據庫服務器，然后結合GPS數據的分類表找到被查詢的該條記錄，最后將查詢結果發送給用戶。

進一步的，上述步驟2中，將劃分后的GPS數據分散至不同的GPS應用服務器，是通過直接路由（LVS-DR）模式和加權最少鏈接（WLC）調度模式進行分散。具體的，LVS-DR模式是客戶端CIP發出的請求數據包經過層層路由發送到調度器VIP，調度器再將請求包通過forward分發給應用服務器集群節點RS，應用服務器集群節點RS接收到請求包后將通過地址設置為調度器VIP的別名網卡來封裝響應報文并直接發送給客戶端CIP，不再經過調度器轉發，從而加快了響應速度。WLC調度模式是指在應用服務器集群中的各個GPS應用服務器的性能差異較大的情況下，調度器采用“加權最少鏈接”調度算法優化負載均衡性能，具有較高權值的服務器將承受較大比例的活動連接負載。調度器可以自動詢問真實應用服務器的負載情況，并動態地調整其權值。其通過LVS集群及并行處理技術將所有GPS導航設備上傳上來的數據分散到不同的GPS應用服務器上，緩解單個GPS應用服務器上的壓力。

步驟3中，多臺GPS數據庫服務器組成數據庫服務器集群，不同的GPS數據庫服務器接收GPS應用服務器分配的不同GPS數據，并實現GPS數據庫服務器之間的并行處理。

另外，步驟3中，對GPS數據進行分類，包括兩次分類，其步驟如下：