[發明專利]一種多視角強化圖像聚類方法

在審

• 申請號: 202110879412.7
• 申請日: 2021-08-02
• 公開（公告）號: CN113610139A
• 公開（公告）日: 2021-11-05
• 發明（設計）人: 高靜;劉晨欣;金珊;陳志奎;李朋
• 申請（專利權）人: 大連理工大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 溫福雪

本發明提出一種多視角強化圖像聚類方法，屬于圖像聚類與強化學習領域，包括：1)預訓練各視角獨立的特征提取網絡，初始化各視角的潛在特征空間；2)預訓練多視角特征融合網絡，初始化各視角的融合特征空間；3)采用K?means方法初始化聚類環境，并為環境中的聚類原型分配伯努利單元；4)利用在線獎賞策略實時分配隨機獎賞，動態更新環境中的伯努利單元；5)更新參數，迭代優化聚類原型直到滿足收斂條件，完成多視角強化聚類過程。本發明采用在線獎賞策略聯合學習融合表征和調整集群，充分將視角間的互補信息以及樣本與聚類原型間的交互信息作用于聚類分析的過程中，有效提升聚類性能。

技術領域

本發明屬于圖像聚類與強化學習領域，涉及一種多視角強化圖像聚類方法。

背景技術

隨著網絡信息與電子商務等技術的廣泛應用，人類獲取數據信息的方式愈加豐富，可收集的數據量越來越多，數據結構越來越復雜，數據維度也越來越高。多視角圖像數據通常來自于數據對象的不同領域或多個角度的測量結果，包含著豐富的互補信息可有效增強數據分析的效果，但受多視角數據多源異構以及數據維度的影響，多視角數據中的互補信息難以被充分利用。因此，急需研究一種新方法來深入挖掘海量多視角圖像數據間的互補信息。

聚類是機器學習和數據挖掘領域中的一種重要的數據分析和處理技術，其目標是將同類數據劃分至相同子集，異類數據劃分至不同子集。多視角聚類打破單個視角中數據信息不足對聚類效果的限制，考慮多個視角間的一致性和互補性，聯合多個視角的表征信息，提升最終的聚類結果。早期的多視角聚類方法對多視角信息進行融合，關聯視角間的特征，表現出相對于單視角聚類較好的結果。然而，早期的方法通常假設數據僅存在兩個視角，難以處理存在三個及三個以上視角的多視角數據并易于出現多視角數據缺失的問題。對此，研究者受深度生成模型在單視角聚類中可以對缺失數據進行推理的啟發，提出多視角變分自編碼器(MVAE)模型，通過專家網絡組合每個視角獨立的變分自動編碼器(VAE)，學習多個視角的聯合分布，獲得更為深入且有效的多視角特征，提升多視角聚類的性能。

盡管當前的多視角聚類方法利用深度生成模型捕獲多視角間的互補信息，取得了較好的聚類結果，但現有的多視角聚類方法僅考慮了多視角數據的固有屬性，而忽視了多視角數據與聚類中心的關聯性，易使得集群邊緣逐漸模糊化。強化學習在與環境的交互中利用自發地學習策略以達到回報最大化，因此，在獲得多視角圖像數據的有效信息的前提下，基于強化學習思想關聯多視角聚類環境中數據點和集群點的信息，提升多視角聚類效果的準確性，是一項值得研究的內容。

發明內容

為解決上述問題，本發明提出一種多視角強化圖像聚類方法，在使用多視角數據的一致性和互補性的基礎上，考慮聚類迭代過程中對聚類中心與多視角數據的交互信息的使用問題，提高聚類效果。

首先，本發明利用深度自編碼器對原始多視角高維圖像數據進行降維，捕獲數據各個視角的潛在特征表示。其次，本發明設計一種多視角特征融合策略，融合數據多個視角的潛在特征表示，獲取多視角數據的高階互補信息。最后，本發明提出了一種基于強化學習的在線獎賞策略，實現聚類環境中數據點和集群點的實時交互，充分利用融合特征表示，獲得更準確的聚類結果。綜上，本發明提出一種多視角強化圖像聚類方法，該方法采用在線獎賞的學習方式從大規模圖像數據的多個視角間學習融合表征信息并即時調整集群分配，以提高多視角圖像聚類的性能，并采用三個聚類評估指標：調整蘭德指數(ARI)、標準化互信息(NMI)和準確率(ACC)驗證模型效果。

為了達到上述目的，本發明的技術方案如下：

一種多視角強化圖像聚類方法，包括以下步驟：

步驟1、預訓練各視角獨立的特征提取網絡，獲取各視角的潛在特征表示；

步驟2、預訓練多視角特征融合網絡，獲得各視角的融合特征表示；

步驟3、采用K-means方法初始化聚類環境，并為環境中的聚類原型分配伯努利單元；