[發(fā)明專利]機器人系統(tǒng)中的細粒度物體識別

有效

• 申請?zhí)枺?/td>: 201880003293.5
• 申請日: 2018-03-05
• 公開（公告）號: CN109643448B
• 公開（公告）日: 2021-02-12
• 發(fā)明（設(shè)計）人: 蔣偉;王煒
• 申請（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62
• 代理公司: 北京龍雙利達知識產(chǎn)權(quán)代理有限公司 11329
• 代理人: 王龍華;王君

公開了一種用于機器人系統(tǒng)中的細粒度物體識別的方法，所述方法包括：從成像裝置獲取物體的圖像；基于所述圖像，使用深度類別級檢測神經(jīng)網(wǎng)絡(luò)檢測預(yù)定義的物體類別；為所述深度類別級檢測神經(jīng)網(wǎng)絡(luò)檢測到的每個預(yù)定義物體類別生成特征映射；基于所述特征映射，使用與所述物體的預(yù)定義類別對應(yīng)的深度實例級檢測神經(jīng)網(wǎng)絡(luò)生成嵌入特征，其中物體的每個預(yù)定義類別包括對應(yīng)的不同實例級檢測神經(jīng)網(wǎng)絡(luò)；基于所述嵌入特征的分類確定所述物體的實例級。

相關(guān)申請案交叉申請

本申請要求于2017年3月3日遞交的發(fā)明名稱為“機器人系統(tǒng)中的細粒度物體識別”的第15/449,541號美國非臨時專利申請案的在先申請優(yōu)先權(quán)，該在先申請的內(nèi)容以引入的方式并入本文。

發(fā)明內(nèi)容

本發(fā)明涉及機器人系統(tǒng)，尤其涉及用于家庭服務(wù)機器人的深度檢測嵌入網(wǎng)絡(luò)中的細粒度物體識別。

背景技術(shù)

家庭服務(wù)機器人的一個重要功能是能夠識別小型室內(nèi)物體，例如杯子、盤子、控制器、手機、鑰匙和瓶子。然而，由于某些物體的個性化以及由此產(chǎn)生的細粒度識別問題，導致對小物體很難識別。

在特定家庭中需要家庭服務(wù)機器人識別的物體可能被用戶個性化，所述物體具有獨特的特性。獨特的物體更難以檢測和識別。例如，家庭服務(wù)機器人不僅需要識別電視控制器類別、杯子類別或鞋子類別，還需要區(qū)分這些類別內(nèi)的不同實例。也就是說，機器人需要能夠區(qū)分不同控制器、不同型號手機、不同形狀、尺寸和顏色的杯子或不同尺寸、款式、紋理和顏色的鞋子。

發(fā)明內(nèi)容

現(xiàn)描述各種示例從而以簡化的形式引入概念的選擇，這些概念將在以下具體實施方式中進行進一步的描述。本發(fā)明內(nèi)容的目的不在于識別權(quán)利要求書保護的主題的關(guān)鍵或必要特征，也不在于限制權(quán)利要求書保護的主題的范圍。

示例1是一種用于機器人系統(tǒng)中的實例級物體識別的方法，所述方法包括：從成像設(shè)備獲取物體的圖像；基于所述物體的圖像以及存儲在所述機器人系統(tǒng)中的預(yù)定義類別級物體圖像，通過類別級深度檢測神經(jīng)網(wǎng)絡(luò)確定所述物體的預(yù)定義類別以及多個預(yù)定義物體類別；生成由所述類別級深度檢測神經(jīng)網(wǎng)絡(luò)確定的物體的預(yù)定義類別的特征映射；使用與所述物體的預(yù)定義類別對應(yīng)的實例級深度檢測神經(jīng)網(wǎng)絡(luò)，基于所述特征圖生成嵌入特征，其中所述多個預(yù)定義物體類別中的每個預(yù)定義類別包括對應(yīng)的不同實例級深度檢測神經(jīng)網(wǎng)絡(luò)；基于所述嵌入特征的分類識別所述物體的實例級；并且由所述機器人系統(tǒng)基于所述物體的實例級識別情況執(zhí)行機器人操作。

在示例2中，示例1的主題可選地包括：其中，獲取所述物體的圖像包括獲取所述物體的多個圖像，每個圖像從不同的透視和/或照明條件獲取。

在示例3中，示例2的主題可選地包括使用深度檢測神經(jīng)網(wǎng)絡(luò)為所述多個圖像的每個圖像生成熱圖，所述熱圖強調(diào)所述一個或多個圖像中的類別級物體。

在示例4中，示例3的主題可選地包括：其中，生成所述熱圖包括為所述一個或多個圖像的每個像素生成關(guān)注值，其中關(guān)注值越高對應(yīng)于所述像素是感興趣前景物體的可能性越高。

在示例5中，示例4的主題可選地包括基于所述熱圖生成二值物體掩模圖像，其中關(guān)注值高于閾值的像素被標記為第一邏輯狀態(tài)，而所有其他像素被標記為與所述第一個邏輯狀態(tài)相反的第二邏輯狀態(tài)。

在示例6中，示例5的主題可選地包括基于標記為所述第一邏輯狀態(tài)的像素從所述掩模圖像中提取所述預(yù)定義的物體類別。

在示例7中，示例6的主題可選地包括訓練所述深度檢測神經(jīng)網(wǎng)絡(luò)以識別所述類別級物體的實例級物體包括基于所述提取的類別級物體以及從包含所述提取類別級物體的最小矩形框生成的增強訓練數(shù)據(jù)來識別所述物體的實例級。