[發(fā)明專利]高并發(fā)采集數(shù)據(jù)的處理系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 202011467575.6
• 申請日: 2020-12-14
• 公開（公告）號: CN112650597A
• 公開（公告）日: 2021-04-13
• 發(fā)明（設(shè)計）人: 張黎明;王希鵬;單寶穎;范曉丹
• 申請（專利權(quán)）人: 濰柴動力股份有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F9/50;G06F16/176;G06F16/16
• 代理公司: 北京辰權(quán)知識產(chǎn)權(quán)代理有限公司 11619
• 代理人: 劉廣達

本發(fā)明公開了一種高并發(fā)采集數(shù)據(jù)的處理系統(tǒng)及方法，所述系統(tǒng)包括：車載終端，用于將采集到的數(shù)據(jù)發(fā)送至服務(wù)器；服務(wù)器，用于接收所述車載終端發(fā)送過來的數(shù)據(jù)，并將接收到的數(shù)據(jù)存入共享文件夾；多臺個人計算機，用于獲取所述共享文件夾中的數(shù)據(jù)，并對獲取到的數(shù)據(jù)進行解析處理，數(shù)據(jù)存儲模塊，用于將解析處理后的數(shù)據(jù)存入數(shù)據(jù)庫。根據(jù)本公開實施例提供的高并發(fā)采集數(shù)據(jù)的處理系統(tǒng)，對數(shù)據(jù)文件的解析處理由一臺電腦轉(zhuǎn)移到多臺電腦執(zhí)行，能夠同時處理海量數(shù)據(jù)并且實時性較強，可以及時發(fā)現(xiàn)異常數(shù)據(jù)，具有較好的市場應(yīng)用前景。

技術(shù)領(lǐng)域

本發(fā)明涉及車聯(lián)網(wǎng)技術(shù)領(lǐng)域，特別涉及一種高并發(fā)采集數(shù)據(jù)的處理系統(tǒng)及方法。

背景技術(shù)

車聯(lián)網(wǎng)是由車輛位置、速度和路線等信息構(gòu)成的巨大交互網(wǎng)絡(luò)，傳統(tǒng)的車聯(lián)網(wǎng)系統(tǒng)對于車輛數(shù)據(jù)的采集都是一整套流程按順序執(zhí)行的，通過系統(tǒng)與車載設(shè)備創(chuàng)建TCP連接，接收車載設(shè)備上傳的數(shù)據(jù)，系統(tǒng)解析車載設(shè)備數(shù)據(jù)，解析后的數(shù)據(jù)存儲到數(shù)據(jù)庫，系統(tǒng)給車載設(shè)備下發(fā)應(yīng)答指令，整個系統(tǒng)與車載設(shè)備的通信才算完成。然而，由于整個流程中系統(tǒng)給車載設(shè)備下發(fā)應(yīng)答指令是實時性處理的功能，當(dāng)車載設(shè)備通信數(shù)量較多時，數(shù)據(jù)量并發(fā)大，可能導(dǎo)致車載設(shè)備連接中斷，甚至?xí)?dǎo)致系統(tǒng)垮掉。

現(xiàn)有技術(shù)中，均是從單臺電腦上進行改進，例如采用多線程技術(shù)，或增大電腦內(nèi)存等方法，但是受CPU核心數(shù)和內(nèi)存的限制，多線程方法能利用的線程數(shù)有限，依然無法解決海量的高并發(fā)問題。

發(fā)明內(nèi)容

本公開實施例提供了一種高并發(fā)采集數(shù)據(jù)的處理系統(tǒng)及方法。為了對披露的實施例的一些方面有一個基本的理解，下面給出了簡單的概括。該概括部分不是泛泛評述，也不是要確定關(guān)鍵/重要組成元素或描繪這些實施例的保護范圍。其唯一目的是用簡單的形式呈現(xiàn)一些概念，以此作為后面的詳細說明的序言。

第一方面，本公開實施例提供了一種高并發(fā)采集數(shù)據(jù)的處理系統(tǒng)，包括：

車載終端，用于將采集到的數(shù)據(jù)發(fā)送至服務(wù)器；

服務(wù)器，用于接收車載終端發(fā)送過來的數(shù)據(jù)，并將接收到的數(shù)據(jù)存入共享文件夾；

多臺個人計算機，用于獲取共享文件夾中的數(shù)據(jù)，并對獲取到的數(shù)據(jù)進行解析處理；

數(shù)據(jù)存儲模塊，用于將解析處理后的數(shù)據(jù)存入數(shù)據(jù)庫。

在一個實施例中，還包括：

第一消息隊列管理器，與多臺個人計算機相連，用于接收個人計算機發(fā)送過來的解析處理后的數(shù)據(jù)，并將接收到的數(shù)據(jù)發(fā)送到數(shù)據(jù)存儲模塊。

在一個實施例中，還包括：

第二消息隊列管理器，與車載終端以及多臺個人計算機相連；

其中，車載終端將采集到的數(shù)據(jù)文件名發(fā)送到第二消息隊列管理器，多臺個人計算機根據(jù)第二消息隊列管理器中的文件名從共享文件夾中獲取對應(yīng)的數(shù)據(jù)。

在一個實施例中，車載終端包括無線發(fā)送模塊、GPS定位模塊、數(shù)據(jù)采集模塊、數(shù)據(jù)接收模塊。

在一個實施例中，車載終端通過XCP協(xié)議將采集到的數(shù)據(jù)發(fā)送至服務(wù)器。

第二方面，本公開實施例提供了一種高并發(fā)采集數(shù)據(jù)的處理方法，包括：

車載終端將采集到的數(shù)據(jù)發(fā)送至服務(wù)器；

服務(wù)器接收車載終端發(fā)送過來的數(shù)據(jù)，并將接收到的數(shù)據(jù)存入共享文件夾；

多臺個人計算機獲取共享文件夾中的數(shù)據(jù)，并對獲取到的數(shù)據(jù)進行解析處理；

數(shù)據(jù)存儲模塊將解析處理后的數(shù)據(jù)存入數(shù)據(jù)庫。

在一個實施例中，多臺個人計算機對獲取到的數(shù)據(jù)進行解析處理之后，還包括：