[發(fā)明專利]基于多模態(tài)數(shù)據(jù)的服裝商品性別識別方法及裝置

在審

• 申請?zhí)枺?/td>: 202110747469.1
• 申請日: 2021-07-01
• 公開（公告）號: CN113486943A
• 公開（公告）日: 2021-10-08
• 發(fā)明（設(shè)計）人: 陳暢新;黃于晏;鐘藝豪;李百川
• 申請（專利權(quán)）人: 有米科技股份有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06F40/242;G06F40/279
• 代理公司: 廣州三環(huán)專利商標代理有限公司 44202
• 代理人: 肖宇揚;江銀會

1.一種基于多模態(tài)數(shù)據(jù)的服裝商品性別識別方法，其特征在于，所述方法包括：

獲取目標服裝商品的文本相關(guān)數(shù)據(jù)、尺寸相關(guān)數(shù)據(jù)和圖像相關(guān)數(shù)據(jù)；

將所述文本相關(guān)數(shù)據(jù)輸入至文本性別識別網(wǎng)絡(luò)模型，以得到文本識別結(jié)果；

將所述尺寸相關(guān)數(shù)據(jù)輸入至尺寸性別識別網(wǎng)絡(luò)模型，以得到尺寸識別結(jié)果；

將所述圖像相關(guān)數(shù)據(jù)輸入至圖像性別識別網(wǎng)絡(luò)模型，以得到圖像識別結(jié)果；

根據(jù)所述文本識別結(jié)果、所述尺寸識別結(jié)果以及所述圖像識別結(jié)果，確定所述目標服裝商品對應(yīng)的性別類別。

2.根據(jù)權(quán)利要求1所述的基于多模態(tài)數(shù)據(jù)的服裝商品性別識別方法，其特征在于，所述文本識別結(jié)果包括所述文本相關(guān)數(shù)據(jù)在至少一個性別類別下的置信度得分；和/或，所述尺寸識別結(jié)果包括所述尺寸相關(guān)數(shù)據(jù)在至少一個性別類別下的置信度得分；和/或，所述圖像識別結(jié)果包括所述圖像相關(guān)數(shù)據(jù)在至少一個性別類別下的置信度得分。

3.根據(jù)權(quán)利要求2所述的基于多模態(tài)數(shù)據(jù)的服裝商品性別識別方法，其特征在于，所述根據(jù)所述文本識別結(jié)果、所述尺寸識別結(jié)果以及所述圖像識別結(jié)果，確定所述目標服裝商品對應(yīng)的性別類別，包括：

根據(jù)所述文本識別結(jié)果、所述尺寸識別結(jié)果以及所述圖像識別結(jié)果，確定所述目標服裝商品在多個性別類別下的最終置信度得分；

根據(jù)所述目標服裝商品在多個性別類別下的最終置信度得分，確定所述目標服裝商品對應(yīng)的性別類別。

4.根據(jù)權(quán)利要求3所述的基于多模態(tài)數(shù)據(jù)的服裝商品性別識別方法，其特征在于，所述根據(jù)所述文本識別結(jié)果、所述尺寸識別結(jié)果以及所述圖像識別結(jié)果，確定所述目標服裝商品在多個性別類別下的最終置信度得分，包括：

將所述文本相關(guān)數(shù)據(jù)、尺寸相關(guān)數(shù)據(jù)和圖像相關(guān)數(shù)據(jù)分別的在至少一個性別類別下的置信度得分，分別根據(jù)對應(yīng)的置信度修正公式進行調(diào)整，以得到所述文本相關(guān)數(shù)據(jù)、尺寸相關(guān)數(shù)據(jù)和圖像相關(guān)數(shù)據(jù)分別的在至少一個性別類別下的最終置信度得分；所述置信度修正公式與對應(yīng)的置信度得分所對應(yīng)的性別識別網(wǎng)絡(luò)模型的預(yù)測準確率和/或置信度得分閾值差有關(guān)；所述置信度得分閾值差為所述權(quán)重因子對應(yīng)的置信度得分與對應(yīng)的性別識別網(wǎng)絡(luò)模型的識別置信度閾值之間的差；

將所述文本相關(guān)數(shù)據(jù)、尺寸相關(guān)數(shù)據(jù)和圖像相關(guān)數(shù)據(jù)分別的在至少一個性別類別下的最終置信度得分，確定為所述目標服裝商品在多個性別類別下的最終置信度得分。

5.根據(jù)權(quán)利要求3所述的基于多模態(tài)數(shù)據(jù)的服裝商品性別識別方法，其特征在于，所述根據(jù)所述目標服裝商品在多個性別類別下的最終置信度得分，確定所述目標服裝商品對應(yīng)的性別類別，包括：

將所述目標服裝商品在多個性別類別下的最終置信度得分中，所述最終置信度得分最高的性別類別，確定為所述目標服裝商品對應(yīng)的性別類別；

和/或，

根據(jù)所述目標服裝商品在多個性別類別下的最終置信度得分，對多個所述最終置信度得分由高到低進行排序，得到得分排序結(jié)果；

根據(jù)所述得分排序結(jié)果中前N個最終置信度得分所對應(yīng)的性別類別，確定所述目標服裝商品對應(yīng)的性別類別；其中，N為大于1的整數(shù)，且N小于所述最終置信度得分的總數(shù)量。

6.根據(jù)權(quán)利要求4所述的基于多模態(tài)數(shù)據(jù)的服裝商品性別識別方法，其特征在于，所述置信度修正公式為：

S＝S_o×b×γ；

其中，S為所述最終置信度得分，S_o為所述置信度得分，b為置信度標準化因子，γ為接口權(quán)重因子；所述接口權(quán)重因子與所述置信度得分所對應(yīng)的性別識別網(wǎng)絡(luò)模型的預(yù)測準確率相關(guān)；

所述置信度標準化因子基于以下公式確定：

b＝log_ax；

其中，x與所述置信度得分相關(guān)，a與所述置信度得分所對應(yīng)的性別識別網(wǎng)絡(luò)模型的置信度閾值相關(guān)，且x與a均大于1。