[發(fā)明專利]一種大數(shù)據(jù)聚類挖掘方法、平臺

在審

• 申請?zhí)枺?/td>: 202011169745.2
• 申請日: 2020-10-28
• 公開（公告）號: CN112286989A
• 公開（公告）日: 2021-01-29
• 發(fā)明（設(shè)計）人: 陳寶;計春雷;李建敦;郝元峰
• 申請（專利權(quán)）人: 上海電機學(xué)院
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06K9/62;G06N3/04
• 代理公司: 上海伯瑞杰知識產(chǎn)權(quán)代理有限公司 31227
• 代理人: 孟旭彤

1.一種大數(shù)據(jù)聚類挖掘方法，其特征在于，包括以下步驟，獲得數(shù)據(jù)集，

采用蟻群算法初始化聚類中心，選取初始聚類中心；

計算數(shù)據(jù)到初始聚類中心的距離，將數(shù)據(jù)按照最大最小距離法進(jìn)行分類；

查看聚類中心是否變化，如果聚類中心變化則更新聚類中心，并再一次執(zhí)行所述計算數(shù)據(jù)到聚類中心的距離的步驟。

2.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)聚類挖掘方法，其特征在于，采用所述的大數(shù)據(jù)聚類挖掘方法進(jìn)一步搭建智能大數(shù)據(jù)聚類挖掘平臺。

3.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)聚類挖掘方法，其特征在于，在初始化聚類中心時，將整個數(shù)據(jù)集視為尋找食物的螞蟻，將聚類過程看作是螞蟻尋找食物來源的過程，使得聚類中心更加準(zhǔn)確，設(shè)有一個數(shù)據(jù)集Q＝{Q|q_i1,q_i2,…,q_in},i＝1,2,…,m，其中，n,m表示常數(shù)，具體計算公式如下：

式(1)中A,B——正常數(shù)；

κ——信息素殘留強度；

t——時刻；

λ_ij(t)——t時刻的數(shù)據(jù)i和數(shù)據(jù)j之間信息素的大小；

式(2)中C_j——合并后的數(shù)據(jù)集；

N——數(shù)據(jù)集中數(shù)據(jù)的個數(shù)。

4.根據(jù)權(quán)利要求3所述的大數(shù)據(jù)聚類挖掘方法，其特征在于，所述的采用最大最小距離法更新聚類中心，包括，

計算任意兩個數(shù)據(jù)之間的距離，并記錄在矩陣中，得出兩個數(shù)據(jù)之間的I^-，再根據(jù)Density(q_i)原則，將孤立數(shù)據(jù)從集合C_j中排除，得到更新后的聚類中心，公式如下：

式中

Density(q_i)——q_i的密度；

完成聚類中心的更新后，對于集合C_j中其他的數(shù)據(jù)樣本，計算出其他的數(shù)據(jù)中心到新的聚類樣本中心的距離。

5.根據(jù)權(quán)利要求2所述的大數(shù)據(jù)聚類挖掘方法，其特征在于，使用Hadoop搭建智能大數(shù)據(jù)挖掘平臺，Map事務(wù)負(fù)責(zé)計算各個數(shù)據(jù)到聚類中心的距離，Reduce事務(wù)負(fù)責(zé)每一次聚類中心的更新。

6.一種大數(shù)據(jù)聚類挖掘平臺，其特征在于，所述平臺包括服務(wù)器，服務(wù)器具有存儲器；以及

耦合到所述存儲器的處理器，該處理器被配置為執(zhí)行存儲在所述存儲器中的指令，所述處理器執(zhí)行以下操作：

獲得數(shù)據(jù)集，

采用蟻群算法初始化聚類中心，選取初始聚類中心；

計算數(shù)據(jù)到初始聚類中心的距離，將數(shù)據(jù)按照最大最小距離法進(jìn)行分類；

查看聚類中心是否變化，如果聚類中心變化則更新聚類中心，并再一次執(zhí)行所述計算數(shù)據(jù)到聚類中心的距離的步驟。

7.一種存儲介質(zhì)，其上存儲有計算機程序，其特征在于，該程序被處理器執(zhí)行時，實現(xiàn)如權(quán)利要求1至5中任一所述的方法。