[發明專利]一種測試數據處理方法、裝置、存儲介質、儀器及車輛

在審

• 申請號: 202110870972.6
• 申請日: 2021-07-30
• 公開（公告）號: CN113688877A
• 公開（公告）日: 2021-11-23
• 發明（設計）人: 朱澤偉;張光輝;高力
• 申請（專利權）人: 聯合汽車電子有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 上海浦一知識產權代理有限公司 31211
• 代理人: 王江富

本發明公開了一種測試數據處理方法、裝置、存儲介質、儀器及車輛，為測試過程的數據采集和預處理提供了優化方案；公開了一種面向匹配領域，將抽取到的ASAM原始數據，經特殊算法轉換成spark能夠直接處理的RDD/Dataframe數據集的方法，同時公開了一種可改善分區特性的優化方法。采用本發明的突出效果是使得遠程標定的原始ASAM數據向Spark?RDD/Dataframe進行轉化，產生滿足標準spark處理流程的數據類型；同時，對spark原有分區進行了合理補償，使得結果更加準確，避免了連續片段進行捕捉時對大數據處理的錯漏問題。

技術領域

本發明屬于虛擬儀器技術領域，尤其涉及一種測試數據處理方法、裝置、存儲介質、儀器及車輛。

背景技術

針對海量數據的處理方法，常采用基于Spark/storm/flink等大數據處理框架的分布式計算；其中，Spark是加州大學伯克利分校的AMP實驗室所開源的類HadoopMapReduce的通用并行框架。

發明人發現：遠程標定采集得到的海量數據是一種滿足ASAM（Association forStandardisation of Automation and Measuring Systems, 自動化及測量系統標準協會）協議的mf4格式數據，其形態和Spark預先定義的RDD（Resilient DistributedDatasets，彈性分布式數據集）彈性分布數據集、Dataframe數據表等差異巨大，目前沒有現成的處理庫、函數包，用以滿足相應的功能，亟需將ASAM數據處理成符合Spark框架的數據類型。

發明人還發現：匹配標定領域對數據研究方式具有特殊性，對數據的研究往往有時間連續性要求，需要有效的考察數據片段。傳統的大數據往往更傾向于關注某個數據樣本點，因此只有針對單個樣本的HashPartitioner（基于鍵值的分區）以及RangePartitioner（范圍分區）。

研究某個物理現象時，如圖1的環狀區域（100）標記出來的位置是感興趣的挖掘事件。在使用Spark等框架進行處理分析的時候，內，由于數據量很大，因此需要切分并存儲在各個結點的分區（partition）當中，對RDD進行操作時，實際上是對每個分區中的數據并行操作。如圖1所示，當Spark對數據進行自動分區，若出現了兩個分區（partition0和partition1），恰好把目標片段截斷，將可能造成特征丟失、數據挖掘失敗。

發明內容

本發明公開了一種測試數據處理方法、裝置、存儲介質、儀器及車輛，為測試過程的數據采集和預處理提供了優化方案。具體地，

通過獲取可測目標單元的原始數據，得到系統分析的基礎資源；包括：第一數據和/或第二數據；其中，第一數據是目標單元的資料信息，第二數據是目標單元的參數信息；目標單元是測試對象的可測單元。

通過抽取第一數據和/或第二數據中的原始數據獲得N個單通道數據，這里N是自然數，代表通道的數量；按預設規則在第1至第N個單通道數據中獲得一個種子通道，并根據種子通道構造一個新的時間軸，將新的時間軸和新的時間軸對應的數據值填入第一向量結構；按預設規則處理種子通道以外的其它M個通道的數據，并連接到第一向量結構，獲得第一目標矩陣；同樣，M是自然數。

進一步地，構造由T個第一目標矩陣形成的第一結構域；將第一結構域存入架構單元；對T個第一目標矩陣進行預設的處理獲得T個第二目標矩陣；對T個第二目標矩陣進行封裝獲得T個第三目標矩陣；這T個第三目標矩陣形成了第一目標數據集。

進一步地，這里的預設處理至少包括下列方法之一：即轉置處理、Array、AarrayBuffer、List、ListBuffer、Tuple、Tuple2、Tuple 3等等；這里的封裝包括采用scale中的Seq列表結構。

進一步地，這里的原始數據包括：時間、信號數值、轉換公式、字符串；且符合ASAM數據標準。