[發明專利]一種基于迭代的神經網絡聚類方法

在審

• 申請號: 201510885998.2
• 申請日: 2015-12-06
• 公開（公告）號: CN105550744A
• 公開（公告）日: 2016-05-04
• 發明（設計）人: 段立娟;袁彬;崔嵩;苗軍;劉軍發
• 申請（專利權）人: 北京工業大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N99/00
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

技術領域

本發明主要用于解決機器學習中經典的聚類問題，使用方法涉及到由人工神經網 絡改進的超限學習機算法。

背景技術

對數據的聚類問題一直以來都是工業系統與計算科學中的重要研究內容。在這個 信息量爆炸的大數據時代，數據處理相關的業務需求日益增多，所要處理的數據也越來越 復雜。隨著人們對聚類問題的深入研究，不斷有新的聚類方法被提取。傳統聚類算法如K均 值算法、最大期望算法以及層次聚類算法等，聚類速度快但僅適用于數據空間線性可分情 況的。新興的聚類算法如譜聚類算法、深度學習自編碼器、非監督超限學習機等，可以解決 數據空間高維且線性不可分的情況，但通常需要消耗較大的內存或需要較長的運行時間。

目前，對于大規模復雜數據的聚類，既需要聚類算法有處理高維線性不可分數據 的能力，也需要解決內存與運行成本。本發明利用神經網絡來解決聚類問題，使得該方法能 夠有效地處理高維非線性復雜數據。并且引入超限學習機模型來求解神經網絡，打打提升 了算法的運行速度。超限學習機，英文名為ExtremeLearningMachine，是黃廣斌教授于 2004年提出的針對單隱層前饋神經網絡的學習方法。與傳統神經網絡優化的梯度下降算法 不同，超限學習機的學習過程不需要迭代操作，這大大減少了它的訓練時間。此外，本方法 以K均值算法為基本框架，便于使用并行化的加速手段來減少聚類的時間消耗。并且使用超 限學習機的神經網絡模型以及僅用少量榜樣集進行訓練的策略，因此該方法只需要較短的 計算時間與較少的內存消耗。

綜合來講，本發明既解決了傳統聚類方法不能很好處理高維非線性數據空間聚類 的問題，又解決了新興聚類算法內存消耗大和運行時間長的問題，使得本方法能夠有效地 處理大規模復雜數據的聚類問題。

發明內容

本發明的目的在于提供一種基于迭代的神經網絡聚類算法，本發明基于傳統聚類 的框架，通過引入神經網絡作為相似度衡量的依據，并通過不斷優化網絡結構得到更準確 的相似度衡量標準。

本發明提出一種基于迭代的神經網絡聚類算法包括以下步驟：

步驟1，初始化超限學習機模型參數；

步驟2，隨機選取與所要聚類個數相同數量的樣本，每個樣本代表一個聚類，訓練 超限學習機以得到初始的隱層到輸出層間權值；

步驟3，利用當前的超限學習機模型對樣本進行聚類分組；

步驟4，對于每一個聚類分組，根據規則選取多個樣本作為該聚類分組的榜樣；

步驟5，使用上個步驟中得到各聚類分組的榜樣樣本來重新訓練超限學習機模型；

步驟6，若滿足結束條件則輸出聚類分組結果，否則返回步驟3。

進一步，步驟1共包括以下2個子步驟：

步驟1.1，設置超限學習機模型的隱層神經元個數L、隱層的激活函數g(θ)以及正 則項系數γ；

其中隱層神經元個數L的取值大于樣本的特征維度d；隱層的激活函數g(θ)通常 Sigmoid函數，正則項系數γ的取值范圍通常為[10^-5，10¹⁰]；

步驟1.2，隨機初始化超限學習機模型中輸入層到隱層的權值W以及偏置b，輸入層 到隱層的權值W是一個d行L列的隨機矩陣，隨機范圍為[1，1]；偏置b是一個1行L列的隨機矩 陣，隨機范圍為[-1，1]，偏置b中的一列對應隱層中一個神經元的偏置。

進一步，步驟2共包括以下2個子步驟：

步驟2.1，隨機選取聚類個數個樣本，即隨機選取K個樣本，其中每個樣本都代表一 個聚類，構成初始榜樣集和對應的目標輸出來訓練超限學習機模型；

步驟2.2，計算隱層神經元的輸出H⁽⁰⁾和超限學習機隱層到輸出層的權重β⁽⁰⁾，從而 得到初始模型，計算公式如式(2)、(3)、(4)所示：

H⁽⁰⁾＝g(W·E⁽⁰⁾+B⁽⁰⁾)(2)

如果K＞L，

否則，