[發明專利]借由聯合稀疏表示的屬性感知零樣本機器視覺系統

在審

• 申請號: 201880052204.6
• 申請日: 2018-07-12
• 公開（公告）號: CN111052144A
• 公開（公告）日: 2020-04-21
• 發明（設計）人: S·科洛瑞;M·羅斯塔米;金勁男;Y·奧維考
• 申請（專利權）人: 赫爾實驗室有限公司
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06K9/62;G06K9/00
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 師瑋;王小東

描述了一種用于對象識別的系統。該系統生成來自多個圖像類的對象圖像的訓練圖像集合。使用訓練圖像集合和注釋的語義屬性，對使用關于視覺特征和語義屬性的字典的聯合稀疏表示將視覺特征從已知圖像映射到所述注釋的語義屬性的模型進行訓練。使用所訓練的模型將未見過的輸入圖像的視覺特征映射到該圖像的語義屬性。將所述未見過的輸入圖像分類為屬于圖像類，以及基于所述未見過的輸入圖像的分類來控制裝置。

相關申請的交叉引用

這是2018年4月10日在美國提交的題為“Zero Shot Machine Vision System viaJoint Sparse Representations”的美國申請No.15/949,896的部分繼續申請，該申請是2017年5月5日在美國提交的題為“Zero Shot Machine Vision System via Joint SparseRepresentations”的美國臨時申請No.62/502,461的非臨時專利申請，該臨時申請的全部內容通過引用并入于此。

這也是2017年9月12日在美國提交的題為“Attribute Aware Zero Shot MachineVision System Via Joint Sparse Representations”的美國臨時申請No.62/557,721的非臨時申請，該臨時申請的全部內容通過引用并入于此。

發明的背景

(1)技術領域

本發明涉及用于對象識別的系統，并且更具體地涉及用于借由聯合稀疏表示進行對象識別的系統。

(2)相關技術的描述

零樣本學習能夠在盡管尚未接收到一項任務的任何訓練示例的情況下執行該任務。零樣本機器視覺方法由Akata等人(參見并入參考文獻的列表的參考文獻No.1)和Romera等人(參見參考文獻No.2)描述。在參考文獻No.1中，作者提出了一種將圖像特征和語義屬性嵌入共同空間中(即，潛在嵌入)的模型，其中它們之間的兼容性是借由雙線性函數來衡量的。

Romera等人(參見參考文獻No.2)提出了一種通用的線性架構，該架構將圖像特征、屬性和類相關聯。Romera等人描述的方法利用正則化項的原則性選擇，使作者能夠驅動針對該問題的簡單的閉式解。Yang等人(參見參考文獻No.8)借由聯合稀疏字典學習、利用他們在圖像超分辨方面的工作推廣了聯合字典學習的想法。最后，Isele等人(參見文獻No.4)采用了聯合字典學習的想法，并將其應用到了強化學習環境中的傳遞學習問題。

現有技術中公開的方法的主要缺點包括：1)通過假設數據特征與語義屬性之間的線性關系使問題過于簡單化，以及2)對需要針對每個應用進行調整的ad hoc正則化項的敏感性。

因此，持續需要一種改進的零樣本機器視覺系統，該系統即使在訓練階段中從未見過新穎對象的任何實例，也可以識別該對象。

發明內容

本發明涉及用于對象識別的系統，尤其涉及用于借由聯合稀疏表示進行對象識別的系統。該系統包括具有指令的存儲器以及一個或更多個處理器，使得當執行所述指令時，所述一個或更多個處理器執行多種操作。使用訓練圖像集合和注釋的語義屬性，對模型進行訓練，所述模型使用關于視覺特征和語義屬性的字典的聯合稀疏表示將來自已知圖像的視覺特征映射到所述注釋的語義屬性。使用所訓練的模型將未見過的輸入圖像的視覺特征映射到該圖像的語義屬性。將所述未見過的輸入圖像分類為屬于圖像類，并且基于所述未見過的輸入圖像的分類來對裝置進行控制，其中，所述裝置是車輛部件，并且控制所述裝置導致車輛操縱。

在另一方面，所述系統生成包括來自多個圖像類的對象圖像的訓練圖像集合，其中，所述訓練圖像集合中的各個對象圖像已經用類標簽和描述該對象圖像的語義屬性進行了注釋。

在另一方面，為了訓練所述模型，視覺特征空間和語義屬性空間被建模為非線性空間，所述非線性空間為視覺特征及其對應的語義屬性提供完全相同的稀疏表示。