[發明專利]基于多模態數據的服裝商品性別識別方法及裝置

在審

• 申請號: 202110747469.1
• 申請日: 2021-07-01
• 公開（公告）號: CN113486943A
• 公開（公告）日: 2021-10-08
• 發明（設計）人: 陳暢新;黃于晏;鐘藝豪;李百川
• 申請（專利權）人: 有米科技股份有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06F40/242;G06F40/279
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 肖宇揚;江銀會

本發明公開了一種基于多模態數據的服裝商品性別識別方法及裝置，該方法包括：獲取目標服裝商品的文本相關數據、尺寸相關數據和圖像相關數據；將所述文本相關數據輸入至文本性別識別網絡模型，以得到文本識別結果；將所述尺寸相關數據輸入至尺寸性別識別網絡模型，以得到尺寸識別結果；將所述圖像相關數據輸入至圖像性別識別網絡模型，以得到圖像識別結果；根據所述文本識別結果、所述尺寸識別結果以及所述圖像識別結果，確定所述目標服裝商品對應的性別類別。可見，本發明可以有效提高服裝商品性別識別的準確率和效率，進而可以有效解決現有技術僅利用單一模態數據進行服裝性別識別帶來的準確率更低的問題。

技術領域

本發明涉及神經網絡技術領域，尤其涉及一種基于多模態數據的服裝商品性別識別方法及裝置。

背景技術

隨著互聯網服飾電商的崛起，服飾商品數據的形式和特點也發生了變化。早期的互聯網電商更注重服飾產品在詳情頁上進行直接的體現，為了便于用戶查看，服飾產品的圖片文字信息也更加的規范，而新崛起的二類電商更加注重在內容上，把場景帶入內容中，此時就會引入干擾的信息，加之不需進入平臺，直接在單品頁面下單，而單品頁面的制作質量也是參差不齊，因此在進行服裝商品的性別識別時，僅依賴單品頁面進行服飾類商品的性別識別存在較大的挑戰。

現有技術在識別服裝商品的性別類別時，一般僅采用服裝商品的單一模態的數據進行識別，例如服裝商品的圖像數據，但如前所述，由于單品頁面的制作質量存在問題，僅依賴單一模態數據進行服裝商品的性別識別，存在準確率低的問題。

發明內容

本發明所要解決的技術問題在于，提供一種基于多模態數據的服裝商品性別識別確定方法及裝置，基于服裝商品的更多模態層次上的特征來進行服裝性別識別，可以有效提高服裝商品性別識別的準確率和效率，進而可以有效解決現有技術僅利用單一模態數據進行服裝性別識別帶來的準確率更低的問題。

為了解決上述技術問題，本發明第一方面公開了一種基于多模態數據的服裝商品性別識別方法，所述方法包括：

獲取目標服裝商品的文本相關數據、尺寸相關數據和圖像相關數據；

將所述文本相關數據輸入至文本性別識別網絡模型，以得到文本識別結果；

將所述尺寸相關數據輸入至尺寸性別識別網絡模型，以得到尺寸識別結果；

將所述圖像相關數據輸入至圖像性別識別網絡模型，以得到圖像識別結果；

根據所述文本識別結果、所述尺寸識別結果以及所述圖像識別結果，確定所述目標服裝商品對應的性別類別。

作為一種可選的實施方式，在本發明第一方面中，所述文本識別結果包括所述文本相關數據在至少一個性別類別下的置信度得分；和/或，所述尺寸識別結果包括所述尺寸相關數據在至少一個性別類別下的置信度得分；和/或，所述圖像識別結果包括所述圖像相關數據在至少一個性別類別下的置信度得分。

作為一種可選的實施方式，在本發明第一方面中，所述根據所述文本識別結果、所述尺寸識別結果以及所述圖像識別結果，確定所述目標服裝商品對應的性別類別，包括：

根據所述文本識別結果、所述尺寸識別結果以及所述圖像識別結果，確定所述目標服裝商品在多個性別類別下的最終置信度得分；

根據所述目標服裝商品在多個性別類別下的最終置信度得分，確定所述目標服裝商品對應的性別類別。

作為一種可選的實施方式，在本發明第一方面中，所述根據所述文本識別結果、所述尺寸識別結果以及所述圖像識別結果，確定所述目標服裝商品在多個性別類別下的最終置信度得分，包括：