[發(fā)明專利]一種基于約束條件下的多圖片多人臉的聚類方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201811305400.8
• 申請(qǐng)日: 2018-11-05
• 公開（公告）號(hào): CN109635647B
• 公開（公告）日: 2022-06-10
• 發(fā)明（設(shè)計(jì)）人: 張立言;羅恒利
• 申請(qǐng)（專利權(quán)）人: 南京航空航天大學(xué)
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06K9/62;G06V10/762;G06V10/74
• 代理公司: 南京瑞弘專利商標(biāo)事務(wù)所(普通合伙) 32249
• 代理人: 吳旭

1.一種基于約束條件下的多圖片多人臉的聚類方法，其特征在于，包括如下步驟：

步驟1：選取人臉數(shù)據(jù)庫(kù)，并對(duì)數(shù)據(jù)庫(kù)中的人臉圖像預(yù)處理后進(jìn)行特征提取，得到特征向量，根據(jù)特征向量計(jì)算人臉圖像集中任意兩張人臉圖像的相似度，得到相似度矩陣；

步驟2：設(shè)置約束條件；所述約束條件包括人臉固有屬性約束條件，同一張照片上多人臉屬于不同人約束條件，視頻同一通道的單人臉屬于同一人約束條件，視頻同一通道多人臉屬于不同人約束條件，所述相似度大于預(yù)設(shè)閾值A(chǔ)的人臉圖像屬于同一人約束條件，所述相似度小于預(yù)設(shè)閾值B的人臉圖像屬于不同人約束條件；根據(jù)所述約束條 件得到：

其中，Y_ij表示人臉圖像X_i,X_j是否屬于同一個(gè)人，f_k(C_k(X_i,X_j))表示對(duì)于人臉圖像X_i,X_j在任意約束條件下的關(guān)系，若為1則表示屬于同一個(gè)人，若為-1則表示屬于不同人；

步驟3：計(jì)算條件概率p(Y_ij|X_i,X_j)，求解p(Y|X)后驗(yàn)概率最大化問(wèn)題，X表示樣本，Y表示簇類；其中，采用條件隨機(jī)場(chǎng)模型最大化所述后驗(yàn)概率，所述條件隨機(jī)場(chǎng)模型表示為：

其中，Z表示規(guī)范化因子，為所述相似度矩陣，表示人臉圖像X_i,X_j,X_k之間相似度的約束性；

定義三角關(guān)系W為：在聚類的過(guò)程中，如果任意兩張人臉圖像被分到一個(gè)簇，則表示這兩張人臉圖像屬于同一個(gè)人，并且同一簇內(nèi)表示每張人臉圖像的節(jié)點(diǎn)之間互相連接，與其他簇內(nèi)的節(jié)點(diǎn)不相連；

若不同變量Y_ij,Y_ik,Y_jk之間的三角關(guān)系不存在或是不連續(xù)，則W＝1；對(duì)于所述相似度矩陣中其他節(jié)點(diǎn)之間的三角關(guān)系，W則為：

W(Y_ij,Y_ik,Y_jk)＝(1-Y_ij)Y_ikY_jk+Y_ij(1-Y_ik)Y_jk+Y_ijY_ik(1-Y_jk)

其中，θ為超參數(shù)；

對(duì)所述條件隨機(jī)場(chǎng)模型取負(fù)對(duì)數(shù)，將最大值問(wèn)題轉(zhuǎn)化為最小值問(wèn)題，則所述條件隨機(jī)場(chǎng)模型的優(yōu)化目標(biāo)為：

E(Y,X)＝∑M(Y_ij)+∑θW(Y_ij,Y_ik,Y_jk)

其中，一元?jiǎng)莺瘮?shù)利用E(Y,X)對(duì)輸入的人臉圖像進(jìn)行聚類。

2.根據(jù)權(quán)利要求1所述的基于約束條件下的多圖片多人臉的聚類方法，其特征在于，使用循環(huán)置信度傳播算法對(duì)取負(fù)對(duì)數(shù)后的條件隨機(jī)場(chǎng)模型進(jìn)行迭代和計(jì)算，迭代過(guò)程如下：

首先定義變量Y_ij初始化時(shí)的信息由一元?jiǎng)莺瘮?shù)產(chǎn)生：

每一次迭代的過(guò)程中迭代信息表示為：

其中，t表示迭代次數(shù)，t取1,2,…T，T表示最大的迭代次數(shù)；k∈N^t-1(i,j)表示跟結(jié)點(diǎn)i或者j相連的結(jié)點(diǎn)，N^t-1(i,j)表示跟結(jié)點(diǎn)i或者j相連的結(jié)點(diǎn)的集合；每次迭代過(guò)程中計(jì)算要加入的節(jié)點(diǎn)和當(dāng)前節(jié)點(diǎn)之間的信息，選擇信息值最小的k更新節(jié)點(diǎn)i和j，直到三角關(guān)系W＝0的節(jié)點(diǎn)不存在時(shí)為止：