[發(fā)明專利]一種基于眾包地圖更新的海量數(shù)據(jù)接入處理方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201911406230.7
• 申請日: 2019-12-31
• 公開（公告）號: CN111209364A
• 公開（公告）日: 2020-05-29
• 發(fā)明（設(shè)計）人: 王駿;樊迪;陳明宇;羅躍軍
• 申請（專利權(quán)）人: 武漢中海庭數(shù)據(jù)技術(shù)有限公司
• 主分類號: G06F16/31
• 分類號: G06F16/31;G06F9/50
• 代理公司: 武漢藍寶石專利代理事務(wù)所(特殊普通合伙) 42242
• 代理人: 謝洋

1.一種基于眾包地圖更新的海量數(shù)據(jù)接入處理方法，其特征在于，包括：

接收車端眾包地圖更新數(shù)據(jù)后，通過基于lvs中的NAT機制將數(shù)據(jù)轉(zhuǎn)發(fā)至后臺服務(wù)器；

基于Keepalived和Nginx代理進行服務(wù)轉(zhuǎn)發(fā)后，由服務(wù)集群NIO創(chuàng)建多線程數(shù)據(jù)處理任務(wù)，并通過Kafka生成多任務(wù)消息隊列；

獲取消息隊列中數(shù)據(jù)處理任務(wù)進行微服務(wù)處理，將處理后的更新數(shù)據(jù)存儲至HDFS文件系統(tǒng)，并在非結(jié)構(gòu)化數(shù)據(jù)庫HBase中進行管理。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過基于lvs中的NAT機制將數(shù)據(jù)轉(zhuǎn)發(fā)至后臺服務(wù)器包括：

對預(yù)定眾包地圖更新數(shù)據(jù)進行NAT地址轉(zhuǎn)換處理，記錄處理所述預(yù)定眾包地圖更新數(shù)據(jù)的服務(wù)器地址，并將后續(xù)接收的所述預(yù)定眾包地圖更新數(shù)據(jù)轉(zhuǎn)發(fā)至對應(yīng)地址的服務(wù)器。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于Keepal ived和Nginx代理進行服務(wù)轉(zhuǎn)發(fā)包括：

基于Nginx對HTTP應(yīng)用的請求進行分流，并通過端口檢測對應(yīng)服務(wù)器內(nèi)部故障。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述由服務(wù)集群NIO創(chuàng)建多線程數(shù)據(jù)處理任務(wù)，并通過Kafka生成多任務(wù)消息隊列還包括：

在用戶請求高并發(fā)情況下，將車端眾包更新數(shù)據(jù)存儲至redis中，根據(jù)業(yè)務(wù)邏輯，定期將所述車端眾包更新數(shù)據(jù)同步至關(guān)系型數(shù)據(jù)庫PostgreSQL中。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將處理后的更新數(shù)據(jù)存儲至HDFS文件系統(tǒng)，并在非結(jié)構(gòu)化數(shù)據(jù)庫HBase中進行管理包括：

配置主從數(shù)據(jù)庫，設(shè)定在從庫中進行數(shù)據(jù)讀取，在主庫進行增加、刪除、修改操作。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將處理后的更新數(shù)據(jù)存儲至HDFS文件系統(tǒng)，并在非結(jié)構(gòu)化數(shù)據(jù)庫HBase中進行管理包括：

在HBase中數(shù)據(jù)存儲于HDFS文件系統(tǒng)，并通過Zookeeper進行Master和RegionServer的協(xié)調(diào)管理。

7.一種基于眾包地圖更新的海量數(shù)據(jù)接入處理系統(tǒng)，其特征在于，包括：

數(shù)據(jù)接入模塊，用于接收車端眾包地圖更新數(shù)據(jù)后，通過基于lvs中的NAT機制將數(shù)據(jù)轉(zhuǎn)發(fā)至后臺服務(wù)器；

數(shù)據(jù)處理模塊，用于基于Keepalived和Nginx代理進行服務(wù)轉(zhuǎn)發(fā)后，由服務(wù)集群NIO創(chuàng)建多線程數(shù)據(jù)處理任務(wù)，并通過Kafka生成多任務(wù)消息隊列；

數(shù)據(jù)存儲模塊，用于獲取消息隊列中數(shù)據(jù)處理任務(wù)進行微服務(wù)處理，將處理后的更新數(shù)據(jù)存儲至HDFS文件系統(tǒng)，并在非結(jié)構(gòu)化數(shù)據(jù)庫HBase中進行管理。

8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，所述通過基于lvs中的NAT機制將數(shù)據(jù)轉(zhuǎn)發(fā)至后臺服務(wù)器包括：

對預(yù)定眾包地圖更新數(shù)據(jù)進行NAT地址轉(zhuǎn)換處理，記錄處理所述預(yù)定眾包地圖更新數(shù)據(jù)的服務(wù)器地址，并將后續(xù)接收的所述預(yù)定眾包地圖更新數(shù)據(jù)轉(zhuǎn)發(fā)至對應(yīng)的服務(wù)器地址。

9.一種電子設(shè)備，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述計算機程序時實現(xiàn)如權(quán)利要求1至6中任一項所述基于眾包地圖更新的海量數(shù)據(jù)接入處理方法的步驟。

10.一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至6任一項所述基于眾包地圖更新的海量數(shù)據(jù)接入處理方法的步驟。