[發明專利]一種草圖識別方法以及該方法在商品檢索中的應用

有效

• 申請號: 201811036370.5
• 申請日: 2018-09-06
• 公開（公告）號: CN109325529B
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 趙鵬;馮晨成;韓莉
• 申請（專利權）人: 安徽大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06T7/11;G06F16/53;G06Q30/06
• 代理公司: 合肥興東知識產權代理有限公司 34148
• 代理人: 商德平

本發明公開了一種草圖識別方法，該方法包括以下步驟：S1.獲取待處理圖片；S2.對收集到的圖片進行具有語義信息的部件分割，得到草圖的部件圖；S3.利用深度學習網絡模型通過對部件圖的識別,得出部件的標簽；S4.將部件的語義信息同部件所屬對象的語義信息相關聯；S5.輸出經過語義樹得到的部件所屬對象的標簽。以及草圖識別方法在商品檢索中的應用，其特征在于，包括以下步驟：1)獲取圖片信息，2)檢索系統利用所述草圖識別方法，根據圖片獲得用戶想要尋找的物品的標簽，3)根據識別的標簽，為用戶推薦相應的商品。本發明提高了對完整草圖識別的正確率，并且可以節約用戶挑選商品的時間，增強用戶體驗。

技術領域

本發明涉及圖像處理領域，特別是涉及一種融合深度學習和語義樹的草圖識別方法。

背景技術

隨著網絡的普及，網上購物成了當今社會人們首選的消費方式，用戶只需要在購物網站上輸入需要物品名稱，即可挑選物品，隨即下單，即方便了用戶，減小了購物成本，又方便了商家，減少了中間商的中轉成本。但是，目前用戶的選購商品的方式，只限于輸入商品名稱或者輸入實物的照片，再得到推薦列表。而現實生活中，某些情況下，用戶并不知曉商品確切的名稱，也沒有商品實物照片，腦海中只有一個大致的物品形狀。這種情況下，選購到令用戶滿意的商品就成了一種耗時且困難的事情。

隨著便攜設備的普及，隨時隨地都可以獲取到草圖，使用手繪草圖來描繪客觀世界，已經成為一種流行趨勢。草圖識別精度的提升對于草圖檢索有重要的理論意義和應用價值，如購物網站商品檢索，客戶無需知道商品名稱，也無需擁有實物照片，即可通過手繪簡單的草圖繪制來檢索目標商品。

發明內容

本發明的目的即是提供一種高效且便捷的草圖識別方法，以方便用戶檢索商品。

為實現上述目的，本發明提供了一種草圖識別方法，該方法包括以下步驟：

S1.獲取待處理圖片；

S2.對收集到的圖片進行具有語義信息的部件分割，得到草圖的部件圖；

S3.利用深度學習網絡模型通過對部件圖的識別,得出部件的標簽；

S4.將部件的語義信息同部件所屬對象的語義信息相關聯，獲得部件所屬對象的標簽。

本發明的技術特征還在于：

步驟S2包括以下流程：1)將草圖拆分到筆畫層，2)將筆畫的序列組合為筆畫組，3)利用現有的3D形狀庫，將筆畫組與3D形狀庫中的部件圖進行迭代比對，然后利用3D部件的標注信息給2D的筆畫組進行語義標注，得到基于筆畫的草圖標注文件，4)將標注文件中相同標簽的筆畫進行連接，繪制草圖的部件圖。

步驟S2中，對完整的草圖進行分割后，再對部件圖像進行數據增強。

步驟S4，包括以下流程：1)利用語義樹，得到部件標簽與部件所屬對象標簽的關聯關系，2)使用語義相似度度量方法，獲得部件的潛在語義標簽，3)根據部件的潛在語義標簽，使用基于上下文的語義融合策略，獲得部件最終所屬對象的標簽。

所述草圖識別方法在商品檢索中的應用，其特征在于，包括以下步驟：1)獲取圖片信息，

2)檢索系統利用所述草圖識別方法，根據圖片獲得用戶想要尋找的物品的標簽，

3)根據識別的標簽，為用戶推薦相應的商品。

步驟1)中，獲取的圖片信息，包括用戶繪制完成的草圖，或用戶手繪的過程中，系統響應的草圖。

采用以上技術方案，本發明具有以下技術優點：

1.草圖的構成簡單，沒有紋理色彩等信息，本發明認為草圖是由具有語義信息的不同部件組成，通過對部件圖的識別提高對完整草圖識別的正確率。