[發明專利]一種基于眾包地圖更新的海量數據接入處理方法及系統

在審

• 申請號: 201911406230.7
• 申請日: 2019-12-31
• 公開（公告）號: CN111209364A
• 公開（公告）日: 2020-05-29
• 發明（設計）人: 王駿;樊迪;陳明宇;羅躍軍
• 申請（專利權）人: 武漢中海庭數據技術有限公司
• 主分類號: G06F16/31
• 分類號: G06F16/31;G06F9/50
• 代理公司: 武漢藍寶石專利代理事務所(特殊普通合伙) 42242
• 代理人: 謝洋

本發明提供一種基于眾包地圖更新的海量數據接入處理方法及系統，該方法包括：接收車端眾包地圖更新數據后，通過基于lvs中的NAT機制將數據轉發至后臺服務器；基于Keepalived和Nginx代理進行服務轉發后，由服務集群NIO創建多線程數據處理任務，并通過Kafka生成多任務消息隊列；獲取消息隊列中數據處理任務進行微服務處理，將處理后的更新數據存儲至HDFS文件系統，并在非結構化數據庫HBase中進行管理。通過該方案解決現有海量數據接入處理時服務器端負載過大，難以滿足實時性要求的問題，有效提升數據處理速度，實現服務端負載均衡，保障眾包地圖更新的實時性。

技術領域

本發明涉及大數據領域，尤其涉及一種基于眾包地圖更新的海量數據接入處理方法及系統。

背景技術

眾包地圖數據為眾包采集的高精度地圖數據，基于車端眾包采集的地圖數據對于高精度地圖制作，以及高精度地圖更新具有重要作用。然而隨著接入的眾包地圖數據增多，對服務端的海量數據處理提出了更高要求。

目前，對于海量接入數據處理方案有將接入數據傳至kafka隊列，然后通過流處理引擎，將數據實時寫入HBase數據庫，可以基本滿足數據存儲及分析處理要求，然而，隨著數據量的進一步增加，服務器端負載過大，難以保證數據的實時處理要求。

發明內容

有鑒于此，本發明實施例提供了一種基于眾包地圖更新的海量數據接入處理方法及系統，以解決現有海量數據接入處理時服務器端負載過大，難以滿足數據實時處理要求的問題。

在本發明實施例的第一方面，提供了一種基于眾包地圖更新的海量數據接入處理方法，包括：

接收車端眾包地圖更新數據后，通過基于lvs中的NAT機制將數據轉發至后臺服務器；

基于Keepalived和Nginx代理進行服務轉發后，由服務集群NIO創建多線程數據處理任務，并通過Kafka生成多任務消息隊列；

獲取消息隊列中數據處理任務進行微服務處理，將處理后的更新數據存儲至HDFS文件系統，并在非結構化數據庫HBase中進行管理。

在本發明實施例的第二方面，提供了一種基于眾包地圖更新的海量數據接入處理系統，包括：

數據接入模塊，用于接收車端眾包地圖更新數據后，通過基于lvs中的NAT機制將數據轉發至后臺服務器；

數據處理模塊，用于基于Keepalived和Nginx代理進行服務轉發后，由服務集群NIO創建多線程數據處理任務，并通過Kafka生成多任務消息隊列；

數據存儲模塊，用于獲取消息隊列中數據處理任務進行微服務處理，將處理后的更新數據存儲至HDFS文件系統，并在非結構化數據庫HBase中進行管理。

本發明實施例中，接收車端眾包地圖更新數據后，通過基于lvs中的NAT機制將數據轉發至后臺服務器；基于Keepalived和Nginx代理進行服務轉發后，由服務集群NIO創建多線程數據處理任務，并通過Kafka生成多任務消息隊列；獲取消息隊列中數據處理任務進行微服務處理，將處理后的更新數據存儲至HDFS文件系統，并在非結構化數據庫HBase中進行管理。可以對接入的海量數據進行實時快速的處理及存儲，實現服務器端負載均衡，解決了現有海量眾包地圖更新數據接入處理時服務器端負載過大，難以滿足實時性的問題，有效提升服務器的數據處理速度，保障服務端的實時性、可靠性及兼容性。

附圖說明

為了更清楚地說明本發明實施例中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單介紹，顯而易見地，下面描述的附圖僅僅是本發明的一些實施例，對本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲取其他附圖。

圖1為本發明的一個實施例提供的基于眾包地圖更新的海量數據接入處理方法的流程示意圖；