[發明專利]一種數據處理方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110523027.9
• 申請日: 2021-05-13
• 公開（公告）號: CN113157926A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 石光輝;洪于祥
• 申請（專利權）人: 北京博睿宏遠數據科技股份有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發明實施例公開了一種數據處理方法、裝置、電子設備及存儲介質。所述數據處理方法，包括：獲取待處理數據序列，并提取待處理數據序列的梅爾倒譜系數特征；根據梅爾倒譜系數特征對待處理數據序列進行分區聚類處理，得到分區數據序列簇；根據分區數據序列簇進行預測模型訓練，得到目標序列預測模型。本發明實施例的技術方案降低了數據序列特征提取的復雜度以及預測模型的空間占用率，提升了聚類處理的效率。

技術領域

本發明實施例涉及數據處理技術領域，尤其涉及一種數據處理方法、裝置、電子設備及存儲介質。

背景技術

隨著互聯網技術的發展產生了海量數據序列，通過對數據序列進行聚類處理可以大大提升數據處理速度。在數據處理場景中對數據序列進行聚類處理尤為重要，但是在進行數據處理時需要為每一條數據序列提供一個分類預測模型，而這會導致分類預測處理設備的中央處理器、內存和磁盤的空間被大量占用。并且，隨著分類預測模型的復雜度和精度的提高，空間占用量也越大。如何在降低空間占用量的前提下，利用分類預測模型高效的對數據序列進行聚類處理成為了研究熱點。

目前，現有技術主要是通過人工聚類數或聚類閾值對數據序列進行聚類處理。具體的，可以通過數據序列的均值、方差以及周期等統計特征，或者傅里葉變換以及小波變換等頻域特征對數據序列進行聚類處理。由于生產環境中的數據序列變化頻繁，使得人工設置的聚類數或聚類閾值需要經常調整，以至于數據序列的聚類數或聚類閾值沒有參考價值。另外，數據序列的相似性有多種標準，單純的聚簇關系無法保證分類預測模型復用的可靠性，使得分類預測模型需要進一步的驗證測試。此外，數據序列特征的提取存在以下缺點：

1)在數據序列特征提取之前需要經過多次預處理步驟，如異常點去除、去噪聲、填補缺失值以及平滑處理等，而多次的數據預處理消耗了大量的系統資源。

2)在數據序列特征提取過程中需要判斷數據序列的周期，例如，當數據序列為時間序列時，時間序列的周期可以是序列的形狀(正弦形狀以及余弦形狀等)。在得到數據序列周期之后，可以根據數據序列周期的相似度對數據序列進行分簇，但是確定未知數據序列的周期是一個比較復雜的工作，這會導致計算復雜度增加。

3)對于傅里葉變換以及小波變換等頻域特征對數據序列進行聚類處理的方式，由于并非所有數據序列都具有統一的特征維度，比如長短序列、周期以及非周期序列等，這使得在頻域特征提取過程中需要對數據序列的特征維度進行取舍，如計算復雜度不同的統計指標等，而特征維度的取舍會增加算法的復雜度。

4)數據序列采樣的過程相對復雜：如果通過統計指標的方式進行采樣，則需要劃分時間窗口；如果通過小波變換或傅里葉變換等方式進行采樣，則需要制定頻譜范圍。由此可見，數據序列采樣沒有統一的標準，只能對共性部分的數據序列進行特征提取。此外，有的數據序列有特征，有的數據序列沒特征，這使得數據序列采樣過程比較復雜。

發明內容

本發明實施例提供一種數據處理方法、裝置、電子設備及存儲介質，降低了數據序列特征提取的復雜度以及預測模型的空間占用率，提升了聚類處理的效率。

第一方面，本發明實施例提供了一種數據處理方法，包括：

獲取待處理數據序列，并提取待處理數據序列的梅爾倒譜系數特征；

根據梅爾倒譜系數特征對待處理數據序列進行分區聚類處理，得到分區數據序列簇；

根據分區數據序列簇進行預測模型訓練，得到目標序列預測模型。

第二方面，本發明實施例還提供了數據處理裝置，包括：

梅爾倒譜系數特征提取模塊，用于獲取待處理數據序列，并提取待處理數據序列的梅爾倒譜系數特征；

分區數據序列簇獲取模塊，用于根據梅爾倒譜系數特征對待處理數據序列進行分區聚類處理，得到分區數據序列簇；