[發明專利]大數據處理方法、裝置、計算機設備及存儲介質

有效

• 申請號: 202011620084.0
• 申請日: 2020-12-30
• 公開（公告）號: CN112667754B
• 公開（公告）日: 2021-09-28
• 發明（設計）人: 趙妮;蔡金成
• 申請（專利權）人: 深圳信息職業技術學院
• 主分類號: G06F16/28
• 分類號: G06F16/28
• 代理公司: 深圳眾鼎專利商標代理事務所(普通合伙) 44325
• 代理人: 譚果林

本發明涉及數據處理領域，公開了大數據處理方法、裝置、計算機設備及存儲介質，其方法包括：獲取大數據及其聚類結果；計算聚類結果的EPV值，根據EPV值和大數據的數據規模確定大數據的劃分個數；根據K?Fold方法和聚類結果將大數據劃分為若干個數據塊，數據塊的個數為劃分個數；計算各個數據塊的聚類結果的評價數據；根據數據塊的聚類結果的評價數據確定大數據的聚類結果的評價數據。本發明可以在大數據進行聚類結果評價時，解決原數據處理方法大量占用計算資源的問題，提高了大數據的處理速度，減少數據處理量，減少數據出錯。

技術領域

本發明涉及數據處理領域，尤其涉及一種大數據處理方法、裝置、計算機設備及存儲介質。

背景技術

大數據(bigdata)指的是無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合。對于一些大型服務型企業，收集海量用戶數據以形成大數據的難度較小，用戶數據在一定時間內可形成數量級的增長，但用于處理大數據的計算資源成本高昂，具有較大的增長瓶頸，難以成倍增長。而且，對于一些大數據處理方法，如聚類結果的評價，由于具有較高的時間復雜度(時間復雜度為樣本數的平方)，計算資源即使成倍增長，仍不能滿足計算需求。

發明內容

基于此，有必要針對上述技術問題，提供一種大數據處理方法、裝置、計算機設備及存儲介質，以解決大數據進行聚類結果評價時，大量占用計算資源的問題，提高數據處理速度，減少數據出錯。

一種大數據處理方法，包括：

獲取大數據及其聚類結果；

計算所述聚類結果的EPV值，根據所述EPV值和所述大數據的數據規模確定所述大數據的劃分個數；

根據K-Fold方法和所述聚類結果將所述大數據劃分為若干個數據塊，所述數據塊的個數為所述劃分個數；

計算各個所述數據塊的聚類結果的評價數據；

根據所述數據塊的聚類結果的評價數據確定所述大數據的聚類結果的評價數據。

一種大數據處理裝置，包括：

獲取模塊，用于獲取大數據及其聚類結果；

確定劃分個數模塊，用于計算所述聚類結果的EPV值，根據所述EPV值和所述大數據的數據規模確定所述大數據的劃分個數；

數據劃分模塊，用于根據K-Fold方法和所述聚類結果將所述大數據劃分為若干個數據塊，所述數據塊的個數為所述劃分個數；

分塊計算模塊，用于計算各個所述數據塊的聚類結果的評價數據；

整體聚類評價模塊，用于根據所述數據塊的聚類結果的評價數據確定所述大數據的聚類結果的評價數據。

一種計算機設備，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機可讀指令，所述處理器執行所述計算機可讀指令時實現上述大數據處理方法。

一個或多個存儲有計算機可讀指令的可讀存儲介質，所述計算機可讀指令被一個或多個處理器執行時，使得所述一個或多個處理器執行如上述大數據處理方法。