[發明專利]一種菜品類別識別方法、裝置及電子設備

在審

• 申請號: 201910128874.8
• 申請日: 2019-02-21
• 公開（公告）號: CN111597862A
• 公開（公告）日: 2020-08-28
• 發明（設計）人: 張天琦
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 李欣;馬敬

1.一種菜品類別識別方法，其特征在于，所述方法包括：

獲取包含菜品區域的目標圖像；

對所述目標圖像進行外觀特征識別，得到所述目標圖像包含的菜品的目標外觀特征向量；

從預先存儲的各類菜品的外觀特征向量中，確定與所述目標外觀特征向量匹配度最高的第一外觀特征向量；

將所述第一外觀特征向量所對應的菜品類別，確定為所述目標圖像對應的菜品類別。

2.根據權利要求1所述的方法，其特征在于，所述對所述目標圖像進行外觀特征識別，得到所述目標圖像包含的菜品的目標外觀特征向量的步驟，包括：

基于預先訓練好的第一卷積神經網絡，對所述目標圖像進行外觀特征識別，得到所述目標圖像包含的菜品的目標外觀特征向量，所述第一卷積神經網絡是：基于多個樣本圖像和所述多個樣本圖像對應的外觀特征向量訓練得到的，所述樣本圖像包含菜品區域，每一樣本圖像對應的外觀特征向量為該樣本圖像所包含的菜品的外觀特征向量。

3.根據權利要求2所述的方法，其特征在于，所述獲取包含菜品區域的目標圖像的步驟，包括：

監測預設區域內是否存在盛放菜品的餐盤；

在監測到所述預設區域內存在盛放菜品的餐盤時，獲取包含菜品區域的目標圖像。

4.根據權利要求3所述的方法，其特征在于，在所述在監測到所述預設區域內存在盛放菜品的餐盤時，獲取包含菜品區域的目標圖像的步驟之后，所述方法還包括：

將所述目標圖像輸入到預先訓練好的第二卷積神經網絡，得到所述目標圖像所包含的菜品區域，其中，所述第二卷積神經網絡是：基于多個樣本圖像和所述多個樣本圖像中包含的菜品區域訓練得到的；

相應地，所述基于預先訓練好的第一卷積神經網絡，對所述目標圖像進行外觀特征識別，得到所述目標圖像包含的菜品的目標外觀特征向量的步驟，包括：

基于預先訓練好的第一卷積神經網絡，對所述菜品區域進行外觀特征識別，得到所述菜品區域包含的菜品的目標外觀特征向量。

5.根據權利要求1至4任一項所述的方法，其特征在于，菜品的外觀特征包括以下特征中的至少一種：顏色，紋理和形狀。

6.一種菜品類別識別裝置，其特征在于，所述裝置包括：

圖像獲取模塊，用于獲取包含菜品區域的目標圖像；

特征識別模塊，用于對所述目標圖像進行外觀特征識別，得到所述目標圖像包含的菜品的目標外觀特征向量；

特征向量確定模塊，用于從預先存儲的各類菜品的外觀特征向量中，確定與所述目標外觀特征向量匹配度最高的第一外觀特征向量；

菜品類別確定模塊，用于將所述第一外觀特征向量所對應的菜品類別，確定為所述目標圖像對應的菜品類別。

7.根據權利要求6所述的裝置，其特征在于，所述特征向量確定模塊，具體用于：

基于預先訓練好的第一卷積神經網絡，對所述目標圖像進行外觀特征識別，得到所述目標圖像包含的菜品的目標外觀特征向量，所述第一卷積神經網絡是：基于多個樣本圖像和所述多個樣本圖像對應的外觀特征向量訓練得到的，所述樣本圖像包含菜品區域，每一樣本圖像對應的外觀特征向量為該樣本圖像所包含的菜品的外觀特征向量。

8.根據權利要求7所述的裝置，其特征在于，所述圖像獲取模塊，具體用于：

監測預設區域內是否存在盛放菜品的餐盤；

在監測到所述預設區域內存在盛放菜品的餐盤時，獲取包含菜品區域的目標圖像。