[發明專利]一種菜品托盤識別方法及基于該方法的菜品識別方法

在審

• 申請號: 202010540966.X
• 申請日: 2020-06-15
• 公開（公告）號: CN111753690A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 井焜;瞿晨非;王闊闊;方亮
• 申請（專利權）人: 神思電子技術股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 濟南泉城專利商標事務所 37218
• 代理人: 趙玉鳳

1.一種菜品托盤識別方法，其特征在于：包括以下步驟：

S01）、特征標記，選擇托盤某一部位作為標記特征進行標記；

S02）、托盤檢測定位，對輸入的整幅圖像做目標檢測，所述目標檢測是指對步驟S01中的標記區域進行檢測，從而判斷該幅圖像中是否有托盤，有托盤則給出托盤的標記特征區域；

S03）、特征提取，對步驟S02中定位的托盤標記特征區域進行特征提取并合并；

S04）、注冊入庫，采集場景中不同種類托盤圖像，通過訓練過的神經網絡實現托盤特征標記區域檢測定位，并提取特征值，將圖片圖像與特征值注冊入庫；

S05）、托盤識別，對輸入的待識別圖像執行步驟S02、步驟S03，實現托盤的定位和特征值提取；

S06）、相似度計算，給定兩個特征值，采用相似度計算方法計算相似分值；

S07）、首位命中，將步驟S05中提取的特征值與S04中入庫特征值逐一進行相似度計算獲得相似分值，根據分值進行排序，排列結果中在第1位的稱為首位命中，其對應的分值稱為首位相似度分值；

S08）、閾值篩選，結合預設閾值和首位相似度分值實現待識別托盤與入庫托盤匹配；

S09）、重復步驟S05-S08，實現托盤識別。

2.根據權利要求1所述的菜品托盤識別方法，其特征在于：步驟S01中，選擇托盤兩側耳部區域作為標記特征進行標記。

3.根據權利要求1所述的菜品托盤識別方法，其特征在于：步驟S05中，采用歐幾里得距離或者余弦相似度計算相似分值。

4.根據權利要求3所述的菜品托盤識別方法，其特征在于：若采用歐幾里得距離計算相似度，則按照從小到大的方式進行相似分值排序；若采用余弦相似度計算相似度，則按照從大到小的方式進行相似分值排序。

5.根據權利要求1所述的菜品托盤識別方法，其特征在于：步驟S08中，取首位相似度分值與預設閾值進行比較，若相似度分值小于或者等于預設閾值，則判斷命中，并給出命中種類；若相似度分值小于預設閾值，則判斷未命中。

6.根據權利要求2所述的菜品托盤識別方法，其特征在于：采用YoloV3深度學習框架進行托盤檢測定位，將原YoloV3最后一層進行修改，輸出類別修改為2種托盤耳部類別輸出，即檢測結果包括圖片耳部位置和耳部類型，耳部類型包括左、右兩種，定位環節需要同時檢測到左右兩個耳部區域才能給出托盤檢測成功結論。

7.根據權利要求1所述的菜品托盤識別方法，其特征在于：采用ResNet深度學習框架進行托盤特征提取提取，將ResNet的輸出層、與輸出層相連的倒數第二個層刪除，在原來倒數第二個層的位置增加一個全連接層，該層包含256個節點，該層數據即為提取的特征值。

8.根據權利要求1所述的菜品托盤識別方法，其特征在于：所述預設閾值為0.6。

9.一種菜品識別方法，其特征在于：本方法基于權利要求1所述菜品托盤識別方法，包括以下步驟：S11）、通過托盤檢測定位實現菜品進入檢測，輸出菜品進入信號，進而激活后續菜品識別動作；S12）、通過托盤特征提取、托盤相似度計算實現當前托盤與已入庫的托盤模板進行匹配，進而提取當前托盤的入庫模板照，通過入庫模板照進行背景建模；S13）、基于步驟S12的背景建模進行菜品識別。