[發明專利]一種數據處理方法、裝置、系統及電子設備

在審

• 申請號: 201910323761.3
• 申請日: 2019-04-22
• 公開（公告）號: CN110187829A
• 公開（公告）日: 2019-08-30
• 發明（設計）人: 張旭東;楊君星;唐懷東
• 申請（專利權）人: 上海蔚來汽車有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京中政聯科專利代理事務所(普通合伙) 11489
• 代理人: 陳超

1.一種數據處理方法，其特征在于，包括：

接收任務調度模塊(4)從分布式消息隊列(3)中調度的上傳事件；所述上傳事件是車載客戶端將其原始信號數據存儲至分布式存儲子系統(2)的第一存儲路徑下以后，發送至所述分布式消息隊列(3)中，所述上傳事件包括所述第一存儲路徑的信息；

根據所述第一存儲路徑的信息，從所述分布式存儲子系統(2)的第一存儲路徑下獲取所述原始信號數據；

將所述原始信號數據處理為預設格式的數據；

將所述預設格式的數據存儲至所述分布式存儲子系統(2)的第二存儲路徑下，所述第二存儲路徑與所述第一存儲路徑的存儲路徑不同。

2.根據權利要求1所述的數據處理方法，其特征在于，

所述預設格式的數據為Parquet格式。

3.根據權利要求1所述的數據處理方法，其特征在于，所述將所述原始信號數據處理為預設格式的數據，包括：

對所述原始信號數據進行至少包括數據解析、完整性檢驗、非法記錄過濾、同步和采樣的操作。

4.根據權利要求1所述的數據處理方法，其特征在于，對所述原始信號數據進行處理的結果還包括所述原始信號數據的元信息；

其中，所述方法還包括：

將所述原始信號數據的元信息存儲至元數據管理子系統(5)。

5.根據權利要求1所述的數據處理方法，其特征在于，所述原始信號數據，包括：未經處理的原始信號數據和處理失敗的原始信號數據。

6.一種數據處理裝置，其特征在于，包括：

獲取模塊(11)，包括路徑信息獲取單元(111)和數據獲取單元(112)，

所述路徑信息獲取單元(111)用于接收任務調度模塊(4)從分布式消息隊列(3)中調度的上傳事件；所述上傳事件是車載客戶端將其原始信號數據存儲至分布式存儲子系統(2)的第一存儲路徑下以后，發送至所述分布式消息隊列(3)中，所述上傳事件包括所述第一存儲路徑的信息；

所述數據獲取單元(112)用于根據所述第一存儲路徑的信息，從所述分布式存儲子系統(2)的第一存儲路徑下獲取所述原始信號數據；

數據處理模塊(12)，用于將所述原始信號數據處理為預設格式的數據；

發送模塊(13)，用于將所述預設格式的數據存儲至所述分布式存儲子系統(2)的第二存儲路徑下，所述第二存儲路徑與所述第一存儲路徑的存儲路徑不同。

7.根據權利要求6所述的數據處理裝置，其特征在于，

所述預設格式的數據為Parquet格式。

8.根據權利要求6所述的一種數據處理裝置，其特征在于，所述數據處理模塊(12)包括：

數據處理單元(121)，用于對所述原始信號數據進行至少包括數據解析、完整性檢驗、非法記錄過濾、同步和采樣的操作。

9.根據權利要求6所述的一種數據處理裝置，其特征在于，對所述原始信號數據進行數據處理的結果還包括所述原始信號數據的元信息；

其中，所述發送模塊(13)還用于，將所述原始信號數據的元信息發送至元數據管理子系統(5)以進行存儲。

10.根據權利要求6所述的一種數據處理裝置，其特征在于，所述原始信號數據，包括：未經處理的原始信號數據和處理失敗的原始信號數據。

11.一種數據處理系統，其特征在于，包括如權利要求6-10任一項所述的一種數據處理裝置(1)，還包括分布式存儲子系統(2)；

所述數據處理裝置(1)將從所述分布式存儲子系統(2)獲取的原始信號數據處理為預設格式的數據，并將所述預設格式的數據存儲至所述分布式存儲子系統(2)的第二存儲路徑下。