[發(fā)明專利]借由聯(lián)合稀疏表示的屬性感知零樣本機器視覺系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201880052204.6
• 申請日: 2018-07-12
• 公開（公告）號: CN111052144A
• 公開（公告）日: 2020-04-21
• 發(fā)明（設(shè)計）人: S·科洛瑞;M·羅斯塔米;金勁男;Y·奧維考
• 申請（專利權(quán)）人: 赫爾實驗室有限公司
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06K9/62;G06K9/00
• 代理公司: 北京三友知識產(chǎn)權(quán)代理有限公司 11127
• 代理人: 師瑋;王小東

1.一種用于對象識別的系統(tǒng)，該系統(tǒng)包括：

編碼有可執(zhí)行指令的非暫時性計算機可讀介質(zhì)以及一個或更多個處理器，使得當(dāng)執(zhí)行所述可執(zhí)行指令時，所述一個或更多個處理器執(zhí)行以下操作：

使用訓(xùn)練圖像集合和注釋的語義屬性，對模型進行訓(xùn)練，所述模型使用關(guān)于視覺特征和語義屬性的字典的聯(lián)合稀疏表示將來自已知圖像的視覺特征映射到所述注釋的語義屬性；

使用所訓(xùn)練的模型將未見過的輸入圖像的視覺特征映射到該未見過的輸入圖像的語義屬性；

將所述未見過的輸入圖像分類為屬于圖像類；以及

基于所述未見過的輸入圖像的分類來對裝置進行控制，其中，所述裝置是車輛部件，并且控制所述裝置導(dǎo)致車輛操縱。

2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述一個或更多個處理器進一步執(zhí)行以下操作：生成包括來自多個圖像類的對象圖像的訓(xùn)練圖像集合，其中，所述訓(xùn)練圖像集合中的各個對象圖像已經(jīng)用類標(biāo)簽和描述該對象圖像的語義屬性進行了注釋。

3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，為了訓(xùn)練所述模型，將視覺特征空間和語義屬性空間建模為非線性空間，所述非線性空間為視覺特征及其對應(yīng)的語義屬性提供完全相同的稀疏表示。

4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述一個或更多個處理器進一步執(zhí)行以下操作：

找到針對從所述未見過的輸入圖像中提取的視覺特征的稀疏表示；以及

生成在所述模型的所述語義屬性空間中解析的語義屬性預(yù)測，其中，軟分配概率向量標(biāo)識所述語義屬性預(yù)測屬于未見過的圖像的類的概率。

5.根據(jù)權(quán)利要求4所述的系統(tǒng)，其中，使用正則化參數(shù)來調(diào)節(jié)所述軟分配概率向量的熵。

6.根據(jù)權(quán)利要求4所述的系統(tǒng)，其中，在給定所述語義屬性預(yù)測的情況下，使用所述模型的所述語義屬性空間中的最接近的語義屬性的類標(biāo)簽來標(biāo)記所述未見過的輸入圖像。

7.一種用于對象識別的計算機實現(xiàn)的方法，該方法包括以下動作：

使一個或更多個處理器執(zhí)行編碼在非暫時性計算機可讀介質(zhì)上的指令，使得在執(zhí)行所述指令時，所述一個或更多個處理器執(zhí)行以下操作：

使用訓(xùn)練圖像集合和注釋的語義屬性，對模型進行訓(xùn)練，所述模型使用關(guān)于視覺特征和語義屬性的字典的聯(lián)合稀疏表示將來自已知圖像的視覺特征映射到所述注釋的語義屬性；

使用所訓(xùn)練的模型將未見過的輸入圖像的視覺特征映射到該未見過的輸入圖像的語義屬性；

將所述未見過的輸入圖像分類為屬于圖像類；以及

基于所述未見過的輸入圖像的分類來對裝置進行控制，其中，所述裝置是車輛部件，并且控制所述裝置導(dǎo)致車輛操縱。

8.根據(jù)權(quán)利要求7所述的方法，其中，所述一個或更多個處理器進一步執(zhí)行以下操作：生成包括來自多個圖像類的對象圖像的訓(xùn)練圖像集合，其中，所述訓(xùn)練圖像集合中的各個對象圖像已經(jīng)用類標(biāo)簽和描述該對象圖像的語義屬性進行了注釋。

9.根據(jù)權(quán)利要求7所述的方法，其中，為了訓(xùn)練所述模型，將視覺特征空間和語義屬性空間建模為非線性空間，所述非線性空間為視覺特征及其對應(yīng)的語義屬性提供完全相同的稀疏表示。

10.根據(jù)權(quán)利要求7所述的方法，其中，所述一個或更多個處理器進一步執(zhí)行以下操作：

找到針對從所述未見過的輸入圖像中提取的視覺特征的稀疏表示；以及

生成在所述模型的所述語義屬性空間中解析的語義屬性預(yù)測，其中，軟分配概率向量標(biāo)識所述語義屬性預(yù)測屬于未見過的圖像的類的概率。

11.根據(jù)權(quán)利要求10所述的方法，其中，使用正則化參數(shù)來調(diào)節(jié)所述軟分配概率向量的熵。

12.根據(jù)權(quán)利要求10所述的方法，其中，在給定所述語義屬性預(yù)測的情況下，所述未見過的輸入圖像是使用所述模型的所述語義屬性空間中的最接近的語義屬性的類標(biāo)簽來標(biāo)記的。