[發明專利]餐具和參照物識別方法、裝置及存儲介質

在審

• 申請號: 202010610354.3
• 申請日: 2020-06-29
• 公開（公告）號: CN111860211A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 李利明;何偉;石磊;賀志晶;劉濤
• 申請（專利權）人: 李利明
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京萬思博知識產權代理有限公司 11694
• 代理人: 劉冀

1.一種餐具和參照物識別方法，其特征在于，包括：

獲取待識別的圖像，其中所述圖像包括至少一個餐具和/或參照物；以及

利用預設的餐具和參照物識別模型對所述圖像進行識別，確定所述至少一個餐具和/或參照物的類別以及所述至少一個餐具和/或參照物在所述圖像中的位置信息，其中所述餐具和參照物識別模型基于包括多個餐具和多個參照物的樣本圖像訓練得到。

2.根據權利要求1所述的方法，其特征在于，利用預設的餐具和參照物識別模型對所述圖像進行識別，確定所述至少一個餐具和/或參照物的類別以及所述至少一個餐具和/或參照物在所述圖像中的位置信息的操作，包括：

利用包括多個卷積層的卷積模型，生成與所述圖像對應的第一圖像特征；

利用包括多個殘差單元的殘差網絡模型，對所述第一圖像特征進行特征提取，生成第二圖像特征；

利用包括識別層的識別模型，對所述第二圖像特征進行識別，確定所述至少一個餐具和/或參照物的類別；以及

利用包括位置建模層的位置建模模型，對所述第二圖像特征進行位置建模，確定所述至少一個餐具和/或參照物在所述圖像中的位置信息。

3.根據權利要求1所述的方法，其特征在于，還包括：利用預設的概率密度模型，評估所確定的所述至少一個餐具和/或參照物在所述圖像中的位置信息的精準度。

4.根據權利要求2所述的方法，其特征在于，利用包括位置建模層的位置建模模型，對所述第二圖像特征進行位置建模，確定所述至少一個餐具和/或參照物在所述圖像中的位置信息的操作，包括：

利用所述位置建模模型，確定所述至少一個餐具和/或參照物的中心點在所述圖像中的中心點位置信息；

利用所述位置建模模型，確定所述至少一個餐具和/或參照物的寬高信息；以及

根據所述中心點位置信息和所述寬高信息，確定所述至少一個餐具和/或參照物在所述圖像中的位置信息。

5.一種存儲介質，其特征在于，所述存儲介質包括存儲的程序，其中，在所述程序運行時由處理器執行權利要求1至4中任意一項所述的方法。

6.一種餐具和參照物識別裝置，其特征在于，包括：

圖像獲取模塊，用于獲取待識別的圖像，其中所述圖像包括至少一個餐具和/或參照物；以及

識別及定位模塊，用于利用預設的餐具和參照物識別模型對所述圖像進行識別，確定所述至少一個餐具和/或參照物的類別以及所述至少一個餐具和/或參照物在所述圖像中的位置信息，其中所述餐具和參照物識別模型基于包括多個餐具和多個參照物的樣本圖像訓練得到。

7.根據權利要求6所述的裝置，其特征在于，所述識別及定位模塊，包括：

第一生成子模塊，用于利用包括多個卷積層的卷積模型，生成與所述圖像對應的第一圖像特征；

第二生成子模塊，用于利用包括多個殘差單元的殘差網絡模型，對所述第一圖像特征進行特征提取，生成第二圖像特征；

識別子模塊，用于利用包括識別層的識別模型，對所述第二圖像特征進行識別，確定所述至少一個餐具和/或參照物的類別；以及

定位子模塊，用于利用包括位置建模層的位置建模模型，對所述第二圖像特征進行位置建模，確定所述至少一個餐具和/或參照物在所述圖像中的位置信息。

8.根據權利要求6所述的裝置，其特征在于，還包括：準確度評估模塊，用于利用預設的概率密度模型，評估所確定的所述至少一個餐具和/或參照物在所述圖像中的位置信息的精準度。

9.根據權利要求7所述的裝置，其特征在于，所述識別子模塊，包括：

第一確定單元，用于利用所述位置建模模型，確定所述至少一個餐具和/或參照物的中心點在所述圖像中的中心點位置信息；

第二確定單元，用于利用所述位置建模模型，確定所述至少一個餐具和/或參照物的寬高信息；以及

第三確定單元，用于根據所述中心點位置信息和所述寬高信息，確定所述至少一個餐具和/或參照物在所述圖像中的位置信息。

10.一種餐具和參照物識別裝置，其特征在于，包括：

處理器；以及

存儲器，與所述處理器連接，用于為所述處理器提供處理以下處理步驟的指令：

獲取待識別的圖像，其中所述圖像包括至少一個餐具和/或參照物；以及

利用預設的餐具和參照物識別模型對所述圖像進行識別，確定所述至少一個餐具和/或參照物的類別以及所述至少一個餐具和/或參照物在所述圖像中的位置信息，其中所述餐具和參照物識別模型基于包括多個餐具和多個參照物的樣本圖像訓練得到。