[發明專利]大數據處理方法、裝置、計算機設備及存儲介質有效
| 申請號： | 202011620084.0 | 申請日： | 2020-12-30 |
| 公開（公告）號： | CN112667754B | 公開（公告）日： | 2021-09-28 |
| 發明（設計）人： | 趙妮;蔡金成 | 申請（專利權）人： | 深圳信息職業技術學院 |
| 主分類號： | G06F16/28 | 分類號： | G06F16/28 |
| 代理公司： | 深圳眾鼎專利商標代理事務所(普通合伙) 44325 | 代理人： | 譚果林 |
| 地址： | 518172 廣東省深*** | 國省代碼： | 廣東;44 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 數據處理 方法 裝置 計算機 設備 存儲 介質 | ||
1.一種大數據處理方法，其特征在于，包括：
獲取大數據及其聚類結果；
計算所述聚類結果的EPV值，根據所述EPV值和所述大數據的數據規模確定所述大數據的劃分個數；
根據K-Fold方法和所述聚類結果將所述大數據劃分為若干個數據塊，所述數據塊的個數為所述劃分個數；
計算各個所述數據塊的聚類結果的評價數據；
根據所述數據塊的聚類結果的評價數據確定所述大數據的聚類結果的評價數據；
所述劃分個數w滿足以下約束條件：
且
其中，w為劃分個數，INT表示向下取整，為大數據中類別i的個數且類別i為個數最小的類別，為第t個數據塊中類別i的個數且第t個數據塊為類別i個數最少的數據塊，m為大數據的特征個數。
2.如權利要求1所述的大數據處理方法，其特征在于，所述計算所述聚類結果的EPV值，包括：
通過EPV計算公式處理所述聚類結果，生成所述EPV值，所述EPV計算公式包括：
其中，EPV即為EPV值，用于評價聚類結果的穩定性；
為大數據中類別1的數據量，為大數據中類別2的數據量，為大數據中類別k的數據量，k為類別數，m為大數據的特征個數，min指的是取最小值。
3.如權利要求1所述的大數據處理方法，其特征在于，所述根據K-Fold方法和所述聚類結果將所述大數據劃分為若干個數據塊，包括：
獲取處理所述大數據的內存資源數據；
判斷所述內存資源數據是否滿足所述數據塊的計算需求；
若所述內存資源數據不滿足所述數據塊的計算需求，輸出提醒信息。
4.如權利要求1所述的大數據處理方法，其特征在于，所述劃分個數大于或等于2。
5.如權利要求1所述的大數據處理方法，其特征在于，當所述劃分個數大于2時，所述EPV值大于10。
6.如權利要求1所述的大數據處理方法，其特征在于，所述數據塊的聚類結果的評價數據為輪廓系數。
7.一種大數據處理裝置，其特征在于，包括：
獲取模塊，用于獲取大數據及其聚類結果；
確定劃分個數模塊，用于計算所述聚類結果的EPV值，根據所述EPV值和所述大數據的數據規模確定所述大數據的劃分個數；
數據劃分模塊，用于根據K-Fold方法和所述聚類結果將所述大數據劃分為若干個數據塊，所述數據塊的個數為所述劃分個數；
分塊計算模塊，用于計算各個所述數據塊的聚類結果的評價數據；
整體聚類評價模塊，用于根據所述數據塊的聚類結果的評價數據確定所述大數據的聚類結果的評價數據；
所述劃分個數w滿足以下約束條件：
且
其中，w為劃分個數，INT表示向下取整，為大數據中類別i的個數且類別i為個數最小的類別，為第t個數據塊中類別i的個數且第t個數據塊為類別i個數最少的數據塊，m為大數據的特征個數。
8.一種計算機設備，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機可讀指令，其特征在于，所述處理器執行所述計算機可讀指令時實現如權利要求1至6中任一項所述大數據處理方法。
9.一個或多個存儲有計算機可讀指令的可讀存儲介質，所述計算機可讀指令被一個或多個處理器執行時，使得所述一個或多個處理器執行如權利要求1至6中任一項所述大數據處理方法。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于深圳信息職業技術學院，未經深圳信息職業技術學院許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202011620084.0/1.html，轉載請聲明來源鉆瓜專利網。
- 上一篇：一種加熱管的后蓋加工方法
- 下一篇：一種空調過濾網精加工設備及加工方法
