[發(fā)明專利]一種訓(xùn)練圖像分類模型、圖像搜索的方法及相關(guān)裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110649832.6
• 申請(qǐng)日: 2021-06-10
• 公開（公告）號(hào): CN113392898A
• 公開（公告）日: 2021-09-14
• 發(fā)明（設(shè)計(jì)）人: 牛周周;劉慧慧;周澤南
• 申請(qǐng)（專利權(quán)）人: 北京搜狗科技發(fā)展有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王寶筠

本申請(qǐng)公開了一種訓(xùn)練圖像分類模型、圖像搜索的方法及相關(guān)裝置，該方法包括：以歷史用戶輸入文本進(jìn)行圖像搜索獲得搜索圖像，搜索圖像標(biāo)記有內(nèi)容類別標(biāo)簽；通過(guò)預(yù)設(shè)圖像分類模型的特征提取層，提取搜索圖像的圖像特征和圖庫(kù)圖像的圖像特征并匹配，得到搜索圖像的相似圖像集；通過(guò)相似圖像的圖像特征進(jìn)行密度聚類，清洗相似圖像集得到目標(biāo)相似圖像集；以目標(biāo)相似圖像集中相似圖像和各相似圖像標(biāo)記的內(nèi)容類別標(biāo)簽，微調(diào)訓(xùn)練預(yù)訓(xùn)練分類模型得到目標(biāo)圖像分類模型。通過(guò)目標(biāo)圖像分類模型的特征提取層，提取目標(biāo)搜索圖像的圖像特征和圖庫(kù)圖像的圖像特征；匹配目標(biāo)搜索圖像與圖庫(kù)圖像的圖像特征，搜索與目標(biāo)搜索圖像風(fēng)格一致的目標(biāo)相似圖像。

技術(shù)領(lǐng)域

本申請(qǐng)涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種訓(xùn)練圖像分類模型、圖像搜索的方法及相關(guān)裝置。

背景技術(shù)

隨著機(jī)器學(xué)習(xí)的快速發(fā)展，機(jī)器學(xué)習(xí)的應(yīng)用越來(lái)越廣泛。例如，以圖搜圖是指利用機(jī)器學(xué)習(xí)得到的圖像分類模型的特征提取層，對(duì)待搜索圖像和圖庫(kù)圖像進(jìn)行特征提取得到圖像特征，基于圖像特征進(jìn)行匹配，從圖庫(kù)圖像中召回待搜索圖像的相似圖像。

發(fā)明人經(jīng)過(guò)研究發(fā)現(xiàn)，上述機(jī)器學(xué)習(xí)得到的圖像分類模型實(shí)際上是基于樣本圖像、標(biāo)記的內(nèi)容類別標(biāo)簽訓(xùn)練分類網(wǎng)絡(luò)得到的；則該圖像分類模型主要關(guān)注圖像的內(nèi)容類別而忽略了圖像的風(fēng)格，在以圖搜圖時(shí)應(yīng)用該圖像分類模型，可能會(huì)導(dǎo)致召回的相似圖像與待搜索圖像的風(fēng)格不一致，難以適用于有風(fēng)格一致性需求的以圖搜圖場(chǎng)景。

發(fā)明內(nèi)容

有鑒于此，本申請(qǐng)?zhí)峁┮环N訓(xùn)練圖像分類模型、圖像搜索的方法及相關(guān)裝置，使得訓(xùn)練得到的圖像分類模型不僅關(guān)注圖像的內(nèi)容類別，而且關(guān)注圖像的風(fēng)格，基于此以圖搜圖，不僅圖像的內(nèi)容類別相同，而且圖像的風(fēng)格一致，適用于有風(fēng)格一致性需求的以圖搜圖場(chǎng)景。

第一方面，本申請(qǐng)實(shí)施例提供了一種訓(xùn)練圖像分類模型的方法，該方法包括：

利用預(yù)設(shè)圖像分類模型的特征提取層，對(duì)搜索圖像和圖庫(kù)圖像進(jìn)行特征提取匹配，獲得所述搜索圖像的相似圖像形成相似圖像集；所述搜索圖像是通過(guò)歷史用戶輸入文本進(jìn)行圖像搜索獲得的，所述搜索圖像標(biāo)記有內(nèi)容類別標(biāo)簽；

基于所述相似圖像的圖像特征，對(duì)所述相似圖像集進(jìn)行密度聚類清洗獲得目標(biāo)相似圖像集；

利用所述目標(biāo)相似圖像集中相似圖像和各相似圖像標(biāo)記的內(nèi)容類別標(biāo)簽，對(duì)預(yù)訓(xùn)練分類模型進(jìn)行微調(diào)訓(xùn)練獲得目標(biāo)圖像分類模型。

可選的，所述基于所述相似圖像的圖像特征，對(duì)所述相似圖像集進(jìn)行密度聚類清洗獲得目標(biāo)相似圖像集，包括：

基于所述相似圖像的圖像特征、密度聚類簇的距離閾值和數(shù)量閾值，對(duì)所述相似圖像集中相似圖像進(jìn)行密度聚類，確定不屬于密度聚類簇的相似圖像為異常圖像；所述距離閾值是指構(gòu)成密度聚類簇的相似圖像之間的圖像特征距離的上限值，所述數(shù)量閾值是指構(gòu)成密度聚類簇的相似圖像數(shù)量的下限值；

對(duì)所述相似圖像集中所述異常圖像進(jìn)行清洗，獲得所述目標(biāo)相似圖像集。

可選的，所述利用預(yù)設(shè)圖像分類模型的特征提取層，對(duì)搜索圖像和圖庫(kù)圖像進(jìn)行特征提取匹配，獲得所述搜索圖像的相似圖像形成相似圖像集，包括：

利用所述預(yù)設(shè)圖像分類模型的特征提取層，對(duì)所述搜索圖像和所述圖庫(kù)圖像進(jìn)行特征提取，獲得所述搜索圖像的圖像特征和所述圖庫(kù)圖像的圖像特征；

基于所述搜索圖像的圖像特征和所述圖庫(kù)圖像的圖像特征，獲得每個(gè)搜索圖像與每個(gè)圖庫(kù)圖像的圖像特征距離；

基于所述每個(gè)搜索圖像與每個(gè)圖庫(kù)圖像的圖像特征距離，從所述圖庫(kù)圖像中篩選出每個(gè)搜索圖像的相似圖像，形成各搜索圖像對(duì)應(yīng)的相似圖像集。