[發明專利]自動檢測圖像中用戶所請求的對象

在審

• 申請號: 202010266904.4
• 申請日: 2020-04-07
• 公開（公告）號: CN112287157A
• 公開（公告）日: 2021-01-29
• 發明（設計）人: S·科恩;林哲;凌明陽
• 申請（專利權）人: 奧多比公司
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F16/538;G06F16/55;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 酆迅

本公開的實施例涉及自動檢測圖像中用戶所請求的對象。本公開涉及在數字圖像中準確地檢測并可選地自動選擇用戶所請求的對象(例如，查詢對象)的對象選擇系統。例如，對象選擇系統基于分析查詢對象的對象類別，構建并利用對象選擇流水線來確定利用哪個對象檢測神經網絡來檢測查詢對象。特別地，對象選擇系統可以標識已知對象類別以及與未知對象類別相對應的對象。

技術領域

本公開涉及數字圖像編輯，并且更具體地涉及自動檢測圖像中的對象。

背景技術

近年來見證了數字圖像編輯的顯著增加。實際上，硬件和軟件方面的進步已提高了個人捕獲、創建和編輯數字圖像的能力。例如，大多數現代計算設備(例如，服務器、臺式機、筆記本電腦、平板電腦和智能手機)上的硬件使得能夠在不出現顯著的滯后時間或處理延遲的情況下，實現數字圖像編輯。類似地，軟件的改進使得個人能夠對數字圖像進行修改、組合、過濾或以其他方式編輯。編輯數字圖像的示例包括檢測對象、將對象從一個圖像復制到新的背景、或從圖像中移除對象。

盡管在數字圖像編輯中有這些改進，但是常規系統特別是在數字圖像中檢測和選擇對象方面，在圖像編輯系統中具有與靈活性、準確性和操作效率有關的許多問題。例如，許多常規系統在它們可以在圖像中檢測的對象類型方面功能有限。為了提供上下文，圖像中的對象可以對應于一個或多個對象類型或類別(class)(例如，前景對象、背景對象、概念性對象)，并且對象類別可以包括幾乎無限數量的對象。常規系統通常限于少量的對象類別。此外，常規系統主要僅檢測對象類別內對象的較小子集。例如，一些常規系統只可以檢測圖像中的狗，而不能檢測其他類型或類別的對象。

另外，常規系統是不準確的。例如，提供對象檢測的許多常規系統通常標識錯誤的對象，或更糟糕地，完全無法標識圖像中的任何對象。例如，許多常規系統沒有標識不屬于眾所周知的對象類別的對象。

此外，一些常規系統是不準確的，因為它們提供了不精確的結果。例如，盡管一些常規系統可以選擇對象的單獨掩模，但是這些掩模的邊界是粗糙且不精確的。實際上，這些常規系統經常產生在圖像之上包括附加部分或不包括整個對象的對象掩模。結果，用戶必須手動校正選擇和/或手動選擇期望對象。

在圖像編輯系統中存在這些以及關于檢測和選擇數字圖像中的對象的附加問題。

發明內容

本公開的實施例利用用于基于自然語言的輸入在數字圖像中自動選擇所檢測對象的系統、非瞬態計算機可讀介質以及方法，提供了益處和/或解決了本領域中的前述或其他問題中的一個或多個。例如，所公開的系統可以利用多個對象檢測神經網絡和模型來準確地檢測并自動選擇查詢對象(例如，用戶在選擇查詢中提供的對象)。特別地，所公開的系統可以檢測屬于已知對象類別和未知對象類別的對象。

為了圖示，所公開的系統可以標識圖像內用戶正在請求檢測的查詢對象。利用查詢對象，所公開的系統可以確定查詢對象是否對應于已知對象類別。此外，基于確定查詢對象對應于已知類別，所公開的系統可以利用已知對象類別檢測神經網絡來檢測圖像內的查詢對象。備選地，基于確定查詢對象不對應于已知對象類別，所公開的系統可以利用未知對象類別檢測神經網絡來檢測查詢對象。在各種更多的實施例中，如下所述，已知的對象類別檢測神經網絡和未知的對象類別檢測神經網絡各自包括多個模型或附加的神經網絡。在檢測到查詢對象時，所公開的系統可以在圖像內自動選擇所檢測的查詢對象并將其提供給用戶。

盡管該發明內容為了簡化而指代系統，但是該發明內容也適用于某些公開的方法和非瞬態計算機可讀介質。以下描述闡述了所公開的系統、計算機介質和方法的一個或多個實施例的附加特征和優點。在一些情況下，這些特征和優點對于本領域技術人員而言將是明顯的，或者可以通過實踐所公開的實施例而習得。

附圖說明

如下面簡要描述的，具體實施方式通過使用附圖為一個或多個實施例提供了附加的特異性和細節。