[發明專利]一種車輛離線場景數據處理方法及系統

在審

• 申請號: 202010064537.X
• 申請日: 2020-01-20
• 公開（公告）號: CN111258974A
• 公開（公告）日: 2020-06-09
• 發明（設計）人: 白勍
• 申請（專利權）人: 吉利汽車研究院（寧波）有限公司;浙江吉利控股集團有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;賈允

本發明涉及一種車輛離線場景數據處理方法和系統，方法包括：獲取車輛離線場景數據的數據源標準格式和原始日志文件；根據所述數據源標準格式對所述原始日志文件進行解析，得到待處理的日志文件；對所述待處理的日志文件進行至少一種方式的過濾處理，得到目標場景數據日志文件；從目標場景數據日志文件中提取目標場景數據，并將目標場景數據進行存儲。本發明對存儲在私有云的車輛數據尤其對行駛中采集的場景數據進行過濾，得到高質量的有效數據。在滿足應用需求的同時，降低數據的存儲量和計算量，大幅度地縮減數據中心的建設、運維成本。

技術領域

本發明涉及車輛數據處理領域，尤其涉及一種車輛離線場景數據處理方法及系統。

背景技術

隨著智能駕駛汽車逐步實現小規模量產化或預量產化，以設備為中心的傳統數據中心在對采集到的智能駕駛汽車的原始數據進行存儲、分析、機器學習或可視化展示上越顯力不從心。L3等級的智能駕駛汽車，在日均使用時長為8小時的情況下，每車每天會產生25TB至30TB的數據量。巨大的數據量對數據的存儲和計算提出了更高的要求。傳統數據中心如要滿足當前或未來數據存儲和計算的高要求，投入的經濟成本將會十分巨大，并且，系統復雜的傳統數據中心在運維、升級方面面臨巨大的困難。更關鍵的是，傳統數據中心的模式無法響應當前快速發展的業務需求。

針對這種情況，一種應對思路是用云數據中心取代傳統數據中心，云數據中心以面向服務的架構，將數據中心的設備、系統和功能輸出視作服務，隨時隨時地按需交付。另一種應對思路則是對數據進行過濾或稱篩選。與公有云不同的一點是，私有云還無需保存數據過濾處理后的無效數據或無用數據，只需存儲滿足應用需求的有效數據，其分布式存儲和分布式計算的成本將大幅度下降。

發明內容

為對存儲在私有云數據中心的智能駕駛汽車的車輛數據，尤其對車輛在行駛過程中采集的大量場景數據進行過濾，得到高質量的有效數據，本發明結合上述兩種解決思路，公開了一種車輛離線場景數據處理方法及系統。所述技術方案如下：

第一方面，本發明公開了一種車輛離線場景數據處理方法，所述方法包括：

獲取車輛離線場景數據的數據源標準格式和車輛離線場景數據的原始日志文件；

根據所述車輛離線場景數據的數據源標準格式對所述車輛離線場景數據的原始日志文件進行解析，得到待處理的車輛離線場景數據的日志文件；

對所述待處理的車輛離線場景數據的日志文件進行至少一種方式的過濾處理，得到目標場景數據日志文件；

從所述目標場景數據日志文件中提取目標場景數據，并將所述目標場景數據進行存儲。

進一步地，所述獲取車輛離線場景數據的數據源標準格式和車輛離線場景數據的原始日志文件包括：

建立車載傳感設備與數據格式的的映射表，所述映射表包含數據源標準格式；

獲取所述車載傳感設備采集的場景數據；

通過車載終端數據記錄設備對所述場景數據進行記錄，并生成所述車輛離線場景數據的原始日志文件。

進一步地，所述根據所述車輛離線場景數據的數據源標準格式對所述車輛離線場景數據的原始日志文件進行解析，得到待處理的車輛離線場景數據的日志文件包括：

根據所述車輛離線場景數據的原始日志文件的數據源，從所述車輛離線場景數據的數據源標準格式中選取與所述原始日志文件中的每一個原始日志文件匹配的數據源標準格式；

根據所述與所述每一個原始日志文件匹配的數據源標準格式，對所述原始日志文件中的每一個原始日志文件進行數據內容的解析，得到符合預設格式的待處理的車輛離線場景數據的日志文件。