[發明專利]用于處理弱監督圖像的方法、系統和計算機存儲介質

有效

• 申請號: 201580073396.5
• 申請日: 2015-12-28
• 公開（公告）號: CN107209860B
• 公開（公告）日: 2021-07-16
• 發明（設計）人: I·米斯拉;李勁;華先勝
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 王茂華;姚杰

描述了通過利用從弱監督圖像提取的基于分塊的特征訓練分類器來優化多類圖像分類?？梢越邮张c一組標簽相關聯的圖像的語料庫?？梢詮恼Z料庫中的個體圖像中提取一個或多個分塊。可以從一個或多個分塊中提取基于分塊的特征，并且可以從一個或多個分塊的個體分塊中提取分塊表示。至少部分地基于基于分塊的特征分塊可以被布置到聚類中。可以至少部分地基于表示個體分塊之間的相似性的所確定的相似性值，從個體聚類中移除個體分塊中的至少一些。系統可以部分地基于從改進聚類中的分塊中提取的基于分塊的特征來訓練分類器。分類器可用于準確和高效地分類新圖像。

背景技術

計算機視覺可以包括對象識別、對象分類、對象類檢測、圖像分類等。對象識別可以描述找到特定對象(例如，特定做工的手提包、特定人物的面部等)。對象分類和對象類檢測可以描述找到屬于特定分類或類的對象(例如面部、鞋子、汽車等)。圖像分類可以描述將整個圖像分配給特定分類或類(例如，位置識別、紋理分類等)。使用圖像的計算機對象識別、檢測和/或分類是具有挑戰性的，因為現實世界中的對象在視覺外觀上變化很大。例如，與單個標簽相關聯的對象(例如貓、狗、汽車、房屋等)在顏色、形狀、大小、視角、照明等方面呈現多樣性。

一些當前的對象檢測、識別和/或分類方法包括基于受監督或標記的數據的訓練分類器。這樣的方法是不可擴展的。目前的對象檢測、識別和/或分類方法中的其他方法利用局部圖像特征(例如，定向梯度直方圖(HOG))來學習常識知識(例如，眼睛是人的一部分)或通用標簽的特定子標簽(例如，馬的通用標簽包括棕色馬、騎馬等的子標簽)。然而，使用局部圖像特征(例如，HOG)是計算密集型的。因此，目前用于對象檢測、識別和/或分類的技術是不可擴展的并且在計算上是密集的。

發明內容

本公開描述了通過利用從弱監督圖像提取的基于分塊(patch)的特征用于優化多類圖像分類的技術。本文描述的技術通過提高使用分類器對輸入圖像進行分類的準確性并減少用于訓練分類器的計算資源量，利用基于分塊的特征來優化多類圖像分類。

系統和方法描述了來自互聯網上可用的弱監督圖像的學習分類器。在至少一些示例中，本文描述的系統可以接收與一組標簽相關聯的圖像的語料庫。圖像的語料庫中的每個圖像可以與該組標簽中的至少一個標簽相關聯。系統可以從圖像語料庫中的個體圖像中提取一個或多個分塊。系統可以從一個或多個分塊中提取基于分塊的特征，并從一個或多個分塊的個體分塊中提取分塊表示。該系統可以至少部分地基于基于分塊的特征來將分塊布置到聚類中。此外，系統可以確定表示各個分塊之間的相似性的相似性值?？梢灾辽俨糠值鼗谙嗨菩灾祦韽膫€體聚類中移除個體分塊中的至少一些。該系統可以至少部分地基于在改進聚類中剩余的分塊來提取基于分塊的特征。該系統可以至少部分地基于基于分塊的特征來訓練分類器。

系統和方法進一步描述了應用分類器分類新圖像。在至少一個示例中，用戶可以將圖像輸入到本文描述的經訓練的系統中。系統可以從圖像中提取分塊，并從圖像中提取特征。該系統可以將分類器應用于所提取的特征以分類新圖像。附加地，系統可以向用戶輸出結果。結果可以包括通過將分類器應用于從圖像提取的特征來確定的圖像的分類。

提供本發明內容以簡化形式介紹概念的選擇，這些概念在下面的具體實施例中被進一步描述。本發明內容不旨在標識所要求保護的主題的關鍵或必要特征，也不旨在用于限制所要求保護的主題的范圍。

附圖說明

具體實施方式參照附圖進行闡述，其中附圖標記的最左邊的數字標識附圖標記首次出現的附圖。在相同或不同的附圖中使用相同的附圖標記指示相似或相同的項目或特征。

圖1是示出用于從圖像訓練分類器并將經過訓練的分類器應用于分類新圖像的示例系統的圖。

圖2是示出用于從弱監督圖像訓練分類器并且將經訓練的分類器應用到分類新圖像的示例系統的附加部件的圖。

圖3圖示了用于從基于分塊的特征來訓練分類器的示例過程。

圖4示出了用于至少部分地基于過濾圖像的語料庫(corpus)來確定標簽是否可學習的示例過程。