[發(fā)明專利]數(shù)據(jù)處理方法、裝置、系統(tǒng)、服務(wù)器及可讀存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202011268298.6
• 申請日: 2020-11-13
• 公開（公告）號: CN112468548B
• 公開（公告）日: 2023-05-30
• 發(fā)明（設(shè)計）人: 黃淋淋;李景才;王秀峰;侯廣大
• 申請（專利權(quán)）人: 蘇州智加科技有限公司
• 主分類號: H04L67/06
• 分類號: H04L67/06;H04L67/1074;H04L67/1095
• 代理公司: 北京三高永信知識產(chǎn)權(quán)代理有限責任公司 11138
• 代理人: 邢少真

本申請?zhí)峁┝艘环N數(shù)據(jù)處理方法、裝置、系統(tǒng)、服務(wù)器及可讀存儲介質(zhì)，屬于數(shù)據(jù)處理技術(shù)領(lǐng)域。本申請通過在接收到數(shù)據(jù)上傳指令時，由上傳服務(wù)器根據(jù)外部存儲設(shè)備中待上傳的目標數(shù)據(jù)的狀態(tài)，以及上傳服務(wù)器對應(yīng)的多個處理服務(wù)器的狀態(tài)，來將目標數(shù)據(jù)劃分成數(shù)據(jù)分片，并為各個數(shù)據(jù)分片分配相應(yīng)的指定處理服務(wù)器，進而生成相應(yīng)的調(diào)度指令，以便上傳服務(wù)器根據(jù)上傳調(diào)度指令，將各個數(shù)據(jù)分片分別發(fā)送到相應(yīng)的指定處理服務(wù)器，通過同步對多個數(shù)據(jù)分片進行發(fā)送，能夠大大減少發(fā)送目標數(shù)據(jù)所需的時間，從而提高數(shù)據(jù)處理效率，保證數(shù)據(jù)處理過程的高效性。

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別涉及一種數(shù)據(jù)處理方法、裝置、系統(tǒng)、服務(wù)器及可讀存儲介質(zhì)。

背景技術(shù)

自動駕駛車輛依靠人工智能、視覺計算、雷達、監(jiān)控裝置和全球定位系統(tǒng)的協(xié)同合作，讓車輛在沒有人操作的情況下，自動安全地行駛在道路上。通過各個自動駕駛車輛在行駛過程中采集數(shù)據(jù)，并將采集到的數(shù)據(jù)實時存儲到外部存儲設(shè)備(如移動硬盤)中，進而在車輛行駛結(jié)束后，將外部存儲設(shè)備中的數(shù)據(jù)上傳到服務(wù)器中，由服務(wù)器對已上傳的數(shù)據(jù)進行進一步處理，得到用于分析、查看的處理結(jié)果，如視頻、數(shù)據(jù)表等。

目前在對外部存儲設(shè)備中的數(shù)據(jù)進行上傳及處理時，主要是通過將外部存儲設(shè)備插入上傳服務(wù)器，從而將外部存儲設(shè)備中的數(shù)據(jù)傳輸至上傳服務(wù)器，進而由上傳服務(wù)器將數(shù)據(jù)傳輸至處理服務(wù)器來進行處理。

在上述實現(xiàn)過程中，由于外部存儲設(shè)備中所存儲數(shù)據(jù)的數(shù)據(jù)量非常龐大，因而上傳服務(wù)器需要獲取并傳輸給處理服務(wù)器的數(shù)據(jù)量也是非常龐大的，從而導(dǎo)致處理服務(wù)器處理壓力較大，數(shù)據(jù)處理效率較低。

發(fā)明內(nèi)容

本申請實施例提供了一種數(shù)據(jù)處理方法、裝置、系統(tǒng)、服務(wù)器及可讀存儲介質(zhì)，可以提高數(shù)據(jù)處理效率，保證數(shù)據(jù)處理過程的高效性。該技術(shù)方案如下：

一方面，提供了一種數(shù)據(jù)處理方法，該方法包括：

響應(yīng)于接收到數(shù)據(jù)上傳指令，通過上傳服務(wù)器確定外部存儲設(shè)備中待上傳的目標數(shù)據(jù)；

通過該上傳服務(wù)器獲取該目標數(shù)據(jù)的狀態(tài)和該上傳服務(wù)器對應(yīng)的多個處理服務(wù)器的狀態(tài)；

根據(jù)該目標數(shù)據(jù)的狀態(tài)和該多個處理服務(wù)器的狀態(tài)，通過該上傳服務(wù)器生成上傳調(diào)度指令，其中，該上傳調(diào)度指令用于指示該目標數(shù)據(jù)的數(shù)據(jù)分片和每個數(shù)據(jù)分片所要上傳的指定處理服務(wù)器，該指定處理服務(wù)器為該多個處理服務(wù)器中的一個；

根據(jù)該上傳調(diào)度指令，通過該上傳服務(wù)器將該目標數(shù)據(jù)的每個數(shù)據(jù)分片分別發(fā)送到相應(yīng)的該指定處理服務(wù)器，該指定處理服務(wù)器用于將該數(shù)據(jù)分片存儲在存儲服務(wù)器上。

在一種可能的實現(xiàn)方式中，該響應(yīng)于接收到數(shù)據(jù)上傳指令，通過上傳服務(wù)器確定外部存儲設(shè)備中待上傳的目標數(shù)據(jù)包括：

響應(yīng)于該數(shù)據(jù)上傳指令，通過該上傳服務(wù)器對該外部存儲設(shè)備進行掃描；

若該外部存儲設(shè)備的格式為目標設(shè)備格式，則通過該上傳服務(wù)器對該外部存儲設(shè)備中的文件夾進行掃描；

通過該上傳服務(wù)器從符合目標文件夾格式的文件夾中，確定符合目標數(shù)據(jù)格式的目標數(shù)據(jù)，作為待上傳的該目標數(shù)據(jù)。

在一種可能的實現(xiàn)方式中，該方法還包括：

通過該上傳服務(wù)器獲取數(shù)據(jù)上傳記錄，該數(shù)據(jù)上傳記錄用于記錄對應(yīng)于該目標數(shù)據(jù)的上傳事件。

在一種可能的實現(xiàn)方式中，該數(shù)據(jù)上傳記錄包括上傳任務(wù)進度、該上傳服務(wù)器的健康情況和上傳任務(wù)日志。

在一種可能的實現(xiàn)方式中，該方法還包括：

通過該上傳服務(wù)器將該上傳任務(wù)日志存儲至數(shù)據(jù)中心。

在一種可能的實現(xiàn)方式中，該目標數(shù)據(jù)的狀態(tài)包括數(shù)據(jù)存儲時間、數(shù)據(jù)類型和數(shù)據(jù)優(yōu)先級信息中至少一項。