[發(fā)明專利]基于人臉的智能相冊聚類方法、系統(tǒng)、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010627437.3
• 申請日: 2020-07-02
• 公開（公告）號(hào): CN111753923A
• 公開（公告）日: 2020-10-09
• 發(fā)明（設(shè)計(jì)）人: 沈濤;羅超;吉聰睿;李巍;胡泓
• 申請（專利權(quán)）人: 攜程計(jì)算機(jī)技術(shù)（上海）有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06K9/00;G06F16/55;G06F16/51
• 代理公司: 上海隆天律師事務(wù)所 31282
• 代理人: 鐘宗

1.一種基于人臉的智能相冊聚類方法，其特征在于，包括以下步驟：

S101、對智能相冊中的照片中進(jìn)行人臉檢測，建立照片中每個(gè)人臉?biāo)诘娜四槄^(qū)域圖案；

S102、通過所述人臉區(qū)域圖案與預(yù)設(shè)人臉圖案進(jìn)行相似變換對齊人臉；

S103、將對齊后的人臉區(qū)域圖案輸入到訓(xùn)練后的基于卷積神經(jīng)網(wǎng)絡(luò)人臉分類器中，過濾掉非標(biāo)準(zhǔn)的人臉區(qū)域圖案；

S104、自所述人臉區(qū)域圖案進(jìn)行人臉特征提取，輸出人臉表示特征，建立所述人臉表示特征與所述照片的映射關(guān)系；

S105、使用聚類算法進(jìn)行人臉特征聚類，通過使用網(wǎng)絡(luò)參數(shù)搜索方法，并使用聚類效果評價(jià)指標(biāo)自動(dòng)確定最優(yōu)參數(shù)，輸出聚類結(jié)果；

S106、對聚類結(jié)果通過聚類中心重檢測進(jìn)行微調(diào)，使指定閾值用聚類中心重新檢索人臉得到人臉標(biāo)記，將人臉標(biāo)記分配給每張照片；以及

S107、基于每張照片的聚類結(jié)果，將至一種所述聚類結(jié)果的人臉表示特征對應(yīng)的所述照片分別建立分組。

2.根據(jù)權(quán)利要求1所述的基于人臉的智能相冊聚類方法，其特征在于：所述步驟S107之后還包括以下步驟：

S108、當(dāng)所述智能相冊增加一照片，則判斷所述照片歸入與所述照片相匹配的所述聚類結(jié)果的分組中。

3.根據(jù)權(quán)利要求1所述的基于人臉的智能相冊聚類方法，其特征在于：所述步驟S107之后還包括以下步驟：

S109、將所述分組中用戶進(jìn)行過美顏操作的至少一個(gè)照片的參數(shù)設(shè)置應(yīng)用于所述分組的其他照片。

4.根據(jù)權(quán)利要求1所述的基于人臉的智能相冊聚類方法，其特征在于：所述步驟S109之后還包括以下步驟：

S110、具有所述智能相冊的移動(dòng)終端拍攝照片時(shí)，當(dāng)檢測拍攝預(yù)覽界面中是否具有符合所述聚類結(jié)果的人臉區(qū)域圖案，則執(zhí)行步驟S111；

S111、根據(jù)所述聚類結(jié)果對應(yīng)的分組中用戶進(jìn)行過美顏操作的至少一個(gè)照片的參數(shù)設(shè)置應(yīng)用于當(dāng)前拍攝預(yù)覽界面的人臉區(qū)域圖案；以及

S112、當(dāng)拍攝時(shí)保存所述人臉區(qū)域圖案經(jīng)過美顏操作的照片。

5.根據(jù)權(quán)利要求1所述的基于人臉的智能相冊聚類方法，其特征在于：所述步驟S101中，使用retinaface算法檢測人臉。

6.根據(jù)權(quán)利要求1所述的基于人臉的智能相冊聚類方法，其特征在于：所述步驟S102中，在人臉上建立關(guān)鍵點(diǎn)坐標(biāo)矩陣，將所述關(guān)鍵點(diǎn)坐標(biāo)矩陣與預(yù)設(shè)的人臉區(qū)域的關(guān)鍵點(diǎn)坐標(biāo)矩陣對應(yīng)，求得相似變換矩陣，再用變換矩陣變換檢測到的人臉。

7.根據(jù)權(quán)利要求1所述的基于人臉的智能相冊聚類方法，其特征在于：所述步驟S103中，將對齊的人臉輸入到極限光網(wǎng)絡(luò)結(jié)構(gòu)的分類器FeatherNets中，過濾掉非標(biāo)準(zhǔn)的人臉，所述分類器在預(yù)設(shè)被標(biāo)記的數(shù)據(jù)集上進(jìn)行訓(xùn)練，將人臉區(qū)域圖案分為標(biāo)準(zhǔn)的人臉區(qū)域圖案和非標(biāo)準(zhǔn)的人臉區(qū)域圖案。

8.根據(jù)權(quán)利要求1所述的基于人臉的智能相冊聚類方法，其特征在于：所述步驟S104中，使用arcface損失函數(shù)進(jìn)行人臉特征提取，輸出512維的人臉表示特征，arcface損失函數(shù)在預(yù)設(shè)人臉訓(xùn)練集上訓(xùn)練。

9.根據(jù)權(quán)利要求1所述的基于人臉的智能相冊聚類方法，其特征在于：所述步驟S105中，使用birch聚類算法進(jìn)行特征聚類，并使用網(wǎng)格參數(shù)搜索法對閾值和分支因子進(jìn)行參數(shù)搜索，同時(shí)使用calinski_harabasz指數(shù)作為聚類評價(jià)指標(biāo)，選擇得分最高的聚類評價(jià)指標(biāo)對應(yīng)參數(shù)的聚類作為輸出結(jié)果。

10.根據(jù)權(quán)利要求1所述的基于人臉的智能相冊聚類方法，其特征在于：所述步驟S106中，對聚類中心重檢測，先基于類間歐式距離合并聚類中心，每次選一對小于閾值的聚類中心進(jìn)行合并，直到?jīng)]有為止，然后基于類內(nèi)歐式距離使用合并后的聚類中心重新檢索所有人臉特性向量，類間歐式距離取2.0，類內(nèi)歐式距離取1.0。