[發(fā)明專利]一種基于子空間聚類的機械產(chǎn)品質(zhì)量分析方法

在審

• 申請?zhí)枺?/td>: 202011281735.8
• 申請日: 2020-11-16
• 公開（公告）號: CN112434923A
• 公開（公告）日: 2021-03-02
• 發(fā)明（設計）人: 龐寧;張繼福;胡立華
• 申請（專利權(quán)）人: 太原科技大學
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06K9/62;G06Q50/04
• 代理公司: 太原高欣科創(chuàng)專利代理事務所(普通合伙) 14109
• 代理人: 崔浩;冷錦超

1.一種基于子空間聚類的機械產(chǎn)品質(zhì)量分析方法，其特征在于：包括如下步驟：

步驟一：數(shù)據(jù)預處理；具體在Hadoop集群中，根據(jù)數(shù)據(jù)量的變化，設置環(huán)境參數(shù)，采用數(shù)據(jù)預處理技術(shù)，將處理好的工序數(shù)據(jù)上傳至Hadoop的HDFS中保存；

步驟二：基于子空間聚類的質(zhì)量檢測及分析；具體在Hadoop集群中，依次執(zhí)行三個MapReduce作業(yè)：

第一個作業(yè)采用基于LSH數(shù)據(jù)劃分方法將相似的工序數(shù)據(jù)劃分到相同數(shù)據(jù)塊中，并投影到同一數(shù)據(jù)節(jié)點上；

第二個作業(yè)負責識別出各數(shù)據(jù)節(jié)點上數(shù)據(jù)的屬性子空間；

第三個作業(yè)實現(xiàn)并行子空間聚類過程，在Map階段，從各計算節(jié)點的相似數(shù)據(jù)中產(chǎn)生子簇；為修正局部聚類結(jié)果，在Reduce階段判斷從各計算節(jié)點獲取的局部子簇是否需要合并，從局部聚類階段獲得的子簇中產(chǎn)生最終聚類結(jié)果，由聚類結(jié)果發(fā)現(xiàn)隱藏在簇集中影響產(chǎn)品質(zhì)量的共性隱性問題。

2.根據(jù)權(quán)利要求1所述的一種基于子空間聚類的機械產(chǎn)品質(zhì)量分析方法，其特征在于：所述步驟二中依次執(zhí)行三個MapReduce作業(yè)的具體步驟為：

步驟2.1：所述第一個作業(yè)采用基于LSH數(shù)據(jù)劃分策略將相似數(shù)據(jù)投影至同一數(shù)據(jù)桶中：

在各節(jié)點數(shù)據(jù)子集上，Mapper基于MinHash算法去創(chuàng)建特征矩陣和簽名矩陣，采用基于LSH數(shù)據(jù)劃分策略，將具有相同哈希值的段被投影到同一哈希桶中，每個哈希桶包含相似數(shù)據(jù)點；

定義每個數(shù)據(jù)點O_i均表示為一個向量，每個向量分量代表相應桶單元序號，采用一個線性哈希函數(shù)H(O_i)將向量轉(zhuǎn)化為一個整數(shù)P_j，每個數(shù)據(jù)點O_i被分配給標號為P_j的分區(qū)中，Reducer負責從各計算節(jié)點上收集合并所有具有相同分區(qū)標號的數(shù)據(jù)點，并獲得完整的分區(qū)信息；

步驟2.2：所述第二個作業(yè)具體計算每個屬性值的權(quán)值，將重要屬性投影到屬性子空間，根據(jù)每個屬性值權(quán)重來量化屬性子空間：

為量化每個屬性值a_ij的權(quán)值，Mapper負責統(tǒng)計每個屬性值a_ij在單屬性維a_j上的出現(xiàn)次數(shù)，以及每對屬性值在多屬性上的同現(xiàn)次數(shù)；

Reducer負責合并各計算節(jié)點數(shù)據(jù)在單屬性上的出現(xiàn)次數(shù)和同現(xiàn)次數(shù)以計算各屬性值a_ij權(quán)值，最終由Reducer輸出一個列表，分量格式為(＜aij，i，j＞，W(aij))；

步驟2.3：所述第三個作業(yè)具體實現(xiàn)并行子空間聚類過程：

作業(yè)中的每個Mapper從局部數(shù)據(jù)塊上順序讀入數(shù)據(jù)點并任意選取數(shù)據(jù)點作為第一個子簇，在局部子空間聚類階段過程中，輸入數(shù)據(jù)中的每個數(shù)據(jù)點Oi被分配給現(xiàn)有子簇或創(chuàng)建新子簇，在調(diào)整子簇過程中，以最大化簇集質(zhì)量為目標，合并各計算節(jié)點上的相似子簇，并將子簇集作為局部子空間聚類的中間結(jié)果保存至HDFS中，然后由Reducer采用層次聚合聚類算法迭代合并最相似子簇，產(chǎn)生最終全局聚類結(jié)果，即可發(fā)現(xiàn)隱藏在簇集中影響產(chǎn)品質(zhì)量的共性隱性問題。

3.根據(jù)權(quán)利要求2所述的一種基于子空間聚類的機械產(chǎn)品質(zhì)量分析方法，其特征在于：所述步驟2.1中基于LSH數(shù)據(jù)劃分策略方法的具體步驟為：

步驟2.1.1：投影桶數(shù)組：創(chuàng)建數(shù)組保存由傳統(tǒng)LSH技術(shù)所獲取的基礎數(shù)據(jù)桶，該步驟先將簽名矩陣劃分為b段，每段由r行組成，如果兩數(shù)據(jù)的所有簽名段中至少有一對簽名段被投影到同一桶中，數(shù)據(jù)O_i和O_j將被視為相同，重復執(zhí)行b次上述操作后，每個數(shù)據(jù)均被映射到b個桶單元中；

步驟2.1.2：合并相似桶元素：在步驟2.1.1中，向量G所具有的b個分量表示每個數(shù)據(jù)點均被依次投影到b個不同的數(shù)據(jù)桶中，采用線性哈希映射函數(shù)H(O_i)，將數(shù)據(jù)O_i向量G轉(zhuǎn)化為一個代表分區(qū)標號的整數(shù)；

步驟2.1.3：劃分數(shù)據(jù)：通過上述步驟的結(jié)果劃分數(shù)據(jù)，屬于同一個bucket的數(shù)據(jù)將投影到同一個分區(qū)中，即可以保證落入同一分區(qū)的數(shù)據(jù)具有高度相似性。