[發明專利]一種數據處理方法、裝置、系統及電子設備

在審

• 申請號: 201910323761.3
• 申請日: 2019-04-22
• 公開（公告）號: CN110187829A
• 公開（公告）日: 2019-08-30
• 發明（設計）人: 張旭東;楊君星;唐懷東
• 申請（專利權）人: 上海蔚來汽車有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京中政聯科專利代理事務所(普通合伙) 11489
• 代理人: 陳超

本發明公開了一種數據處理方法、裝置、系統及電子設備。該數據處理方法包括如下步驟：接收任務調度模塊從分布式消息隊列中調度的上傳事件；上傳事件包括第一存儲路徑的信息；根據第一存儲路徑的信息，從分布式存儲子系統的第一存儲路徑下獲取原始信號數據；將原始信號數據處理為預設格式的數據；將預設格式的數據存儲至分布式存儲子系統的第二存儲路徑下，第二存儲路徑與第一存儲路徑的存儲路徑不同。該方法通過對車輛自動駕駛待處理的信號數據進行分布式云存儲和云計算，滿足了海量數據處理的要求，且實現了規范化存儲；同時，經過處理的數據采用格式自解釋，數據字段和數據路徑存儲于元數據管理子系統中，便于技術人員在后續工作的調用和處理。

技術領域

本發明涉及分布式存儲和計算領域，特別涉及一種數據處理方法、裝置、系統及電子設備。

背景技術

電動汽車在行駛中會產生大量的內部信號數據，相當一部分與自動駕駛系統或自動輔助駕駛系統相關。這些數據具備如下特點：一是數據量大，該數據產生的周期在幾毫秒至幾十毫秒之間；二是數據種類多，該數據信號來自于汽車內部各個模塊，接收裝置有若干種，產生的數據也對應分為若干種；三是數據格式復雜，這些數據的字段有近千個，一般采用二進制保存，原始數據需要專業工具來解析；四是數據可能來源于多輛汽車；五是數據的字段變化頻繁。

在現有技術中，一般將車輛中的自動駕駛信號數據導入機械硬盤中，技術人員將機械硬盤中的車輛自動駕駛信號數據導入電腦，使用專業工具進行解析和分析，但此種數據處理的方法存在諸多不足，如：車輛的數據較多，且存在軟件版本的不同時，大量的數據不便于管理；同一輛車在不同時段的數據不便于管理；車輛內部不同類型的數據不便于管理；大量的原始信號數據在一臺電腦上進行解析和分析，耗費大量時間，處理效率低；經過處理的數據共享性差，不利于其他技術人員快速獲取并進行進一步的分析和處理。

發明內容

本發明實施例的目的是提供一種數據處理方法、裝置、系統及電子設備，通過對車輛自動駕駛待處理的信號數據進行分布式云存儲和分布式云計算，解決了傳統的數據處理方式單一，數據處理速度慢、效率低，耗費時間長，無法滿足海量數據處理的要求；原始信號數據和處理后的數據均按照一定規定對文件路徑進行規范，使得多車輛、多時間、多版本、多類型的數據實現規范化存儲，便于技術人員在后續工作中調用與查看；經過處理的數據采用格式自解釋，該數據的數據字段和數據路徑存儲于元信息存儲子系統中，便于技術人員在后續工作的調用和處理。

為解決上述技術問題，本發明實施例的第一方面提供了一種數據處理方法，包括如下步驟：

接收任務調度模塊從分布式消息隊列中調度的上傳事件；所述上傳事件是車載客戶端將其原始信號數據存儲至分布式存儲子系統的第一存儲路徑下以后，發送至所述分布式消息隊列中，所述上傳事件包括所述第一存儲路徑的信息；

根據所述第一存儲路徑的信息，從所述分布式存儲子系統的第一存儲路徑下獲取所述原始信號數據；

將所述原始信號數據處理為預設格式的數據；

將所述預設格式的數據存儲至所述分布式存儲子系統的第二存儲路徑下，所述第二存儲路徑與所述第一存儲路徑的存儲路徑不同。

進一步地，所述預設格式的數據為Parquet格式。

進一步地，所述將所述原始信號數據處理為預設格式的數據，包括：

對所述原始信號數據進行至少包括數據解析、完整性檢驗、非法記錄過濾、同步和采樣的操作。

進一步地，對所述原始信號數據進行處理的結果還包括所述原始信號數據的元信息；

其中，所述方法還包括：

將所述原始信號數據的元信息存儲至元數據管理子系統。

進一步地，所述原始信號數據，包括：未經處理的原始信號數據和處理失敗的原始信號數據。