[發明專利]一種基于約束條件下的多圖片多人臉的聚類方法

有效

• 申請號: 201811305400.8
• 申請日: 2018-11-05
• 公開（公告）號: CN109635647B
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 張立言;羅恒利
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06K9/62;G06V10/762;G06V10/74
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 吳旭

本發明公開了一種基于約束條件下的多圖片多人臉的聚類方法，對于一張圖片中的多張人臉圖像，提取出人臉圖像中的固有屬性和特征，同時根據人臉圖像之間的相似度和簇的關系來添加三角約束。使用條件隨機場建立模型，結合各種約束條件使用置信度傳播算法迭代優化目標，最后使用聚類評價方法評估聚類效果。通過實驗我們發現，本專利方法不僅準確率很高，而且聚類的過程很快。

技術領域

本發明屬于計算機視覺領域中對多張圖片中多張人臉進行人臉聚類與識別。

背景技術

圖像聚類在模式識別和機器學習等領域中是一個重要的課題，其中人臉聚類也獲得 了廣泛的關注與研究。在這個智能手機時代，照相機和攝像機隨處可見，但是伴隨的問題是存在著大量未添加標簽的圖片。通過人工添加標簽的成本和精力很大，而使用聚類 的方法對包含人臉的圖片添加相應的標簽以及人臉識別顯得更加自動化和方便。使用聚 類的方法對人臉圖片進行分類，可以處理數據庫中未帶有真實身份的人臉圖片，這在生 活和軍事中有很著重要的使用價值。

使用聚類方法對人臉圖片分類的一般流程是：通過機器學習或深度學習方法提取圖 片中的人臉特征，根據代表每張圖片的特征向量對人臉圖像分類，聚類的最佳結果是將屬于同一個人的圖片放在同一個類別中，將不屬于同一個人的圖片放在不同類別中?，F 在許多聚類的技術和產品關于人臉分類的效果已經很不錯了，但是目前大多數針對的是 包含一張人臉的圖片，而沒有考慮一張圖片中包含多張人臉的情況。

一張圖片若存在多個人臉時，那么這多個人臉必定屬于不同的身份。在視頻中同一 通道的圖片若只包含單個人臉，則這些圖片一定屬于同一個人。對于視頻中包含多張人臉的圖片，可以使用傳統聚類等方法對圖片處理，從而將視頻同一通道中屬于同一個人 的圖片聚合在一起。

發明內容

發明目的：針對上述現有技術，提出一種基于約束條件下的多圖片多人臉的聚類方 法，提高聚類的速度和準確率。

技術方案：一種基于約束條件下的多圖片多人臉的聚類方法，包括如下步驟：

步驟1：選取人臉數據庫，并對數據庫中的人臉圖像預處理后進行特征提取，得到特征向量，根據特征向量計算人臉圖像集中任意兩張人臉圖像的相似度，得到相似度矩陣；

步驟2：設置約束條件；所述約束條件包括人臉固有屬性約束條件，同一張照片上多人臉屬于不同人約束條件，視頻同一通道的單人臉屬于同一人約束條件，視頻同一通 道多人臉屬于不同人約束條件，所述相似度大于預設閾值A的人臉圖像屬于同一人約束 條件，所述相似度小于預設閾值B的人臉圖像屬于不同人約束條件；根據所述約束件得 到：

其中，Y_ij表示人臉圖像X_i,X_j是否屬于同一個人，f_k(C_k(X_i,X_j))表示對于人臉圖像X_i,X_j在任意約束條件下的關系，若為1則表示屬于同一個人，若為-1則表示屬于不同人；

步驟3：計算條件概率p(Y_ij|X_i,X_j)，求解p(Y|X)后驗概率最大化問題，X表示樣本，Y表示簇類；其中，采用條件隨機場模型最大化所述后驗概率，所述條件隨機場模型表 示為：

其中，Z表示規范化因子，為所述相似度矩陣，表示人臉圖像X_i,X_j,X_k之間相似度的約束性；

定義三角關系W為：在聚類的過程中，如果任意兩張人臉圖像被分到一個簇，則 表示這兩張人臉圖像屬于同一個人，并且同一簇內表示每張人臉圖像的節點之間互相連 接，與其他簇內的節點不相連；