[發明專利]一種基于深度學習圖像識別的餐廳自動結算方法及系統

有效

• 申請號: 201811295435.8
• 申請日: 2018-11-01
• 公開（公告）號: CN109615358B
• 公開（公告）日: 2020-11-03
• 發明（設計）人: 方煉
• 申請（專利權）人: 北京偉景智能科技有限公司
• 主分類號: G06Q20/14
• 分類號: G06Q20/14;G06Q50/12;G06K9/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

一種基于深度學習圖像識別的餐廳自動結算方法及系統，本系統分為單目攝像頭、圖像處理模塊、計價程序模塊及支付系統。通過單目攝像頭采集餐盤識別區完整圖像，傳輸至圖像處理模塊后經ENet Object Detection算法模型的運算得到餐盤的定位框和類別標簽數據，將數據輸出至計價程序模塊，計價程序模塊中計價程序根據菜品種類及數量，計算并顯示總價格，便于顧客由支付系統進行付款。本發明采用基于深度學習的圖像識別技術進行餐廳自動結算，在具有普通視覺技術結算成本低、部署靈活、魯棒性強等優勢的同時，克服了普通視覺技術結算識別在角度、光線、遮擋等不利因素影響下準確度不夠的難題，可識別內容也更多，實用性更強。

技術領域

本發明涉及餐飲結算技術領域，尤其涉及一種基于深度學習圖像識別的餐廳自動結算方法及系統。

背景技術

餐飲是人們生活中必不可少的環節，隨著城市生活節奏的不斷加快，越來越多的人通過餐廳解決飲食問題。目前餐廳的主流做法是自主選擇然后統一結賬計費。總體而言，目前的餐廳結算方式主要有：

(1)傳統人工結算方法：

傳統人工結算由人工辨別菜品類別、費用并作總計，就餐高峰期時就餐人員較多，人工結算行區分計算效率低下且容易導致錯誤。

(2)基于條碼識別的結算方法：

在餐盤上貼有條碼標簽與對應的菜價關聯，在計費終端用紅外或激光條碼掃描槍進行讀取得到相應價格，再以人工或自動的方式計算總金額實行結算。相較于傳統的人工結算，結果更精確可靠，但是由于需要對餐盤逐個掃描，結算效率提升有限，且條碼標簽易損壞，實際使用時效果并不理想。

(3)基于RFID識別的結算方法：

事先在餐盤內嵌RFID芯片，將菜品價格與相應芯片關聯，在計費終端對芯片內容進行讀取得到相應菜肴價格。此方法的缺點是必須使用專門的餐具，結算系統成本高，部署復雜，內嵌芯片易損壞。

(4)基于圖像識別的結算方法：

現有的基于圖像識別的結算方法，將菜品的像素特征或餐盤的顏色、形狀、花紋特征與菜價進行關聯，在計費終端通過圖像識別方法得到相應菜品價格。其中：菜品識別模型復雜，識別率低、易出錯，且推出新菜需要重新更新復雜模型；基于餐盤顏色、形狀識別的結算系統，識別特征單一，易受光線、角度、餐盤遮擋因素的影響，面對識別環境較差的場景魯棒性很差；對于在餐盤上印刷特殊圖案的識別結算方法，需要使用專門的特殊餐具，后期增添新餐具將不通用。

發明內容

針對目前基于圖像識別的結算方法模型復雜，識別率低，在某些使用場景下魯棒性差，實際使用成本高的缺陷，本發明提出一種基于深度學習圖像識別的餐廳自動結算方法及系統。

為實現上述目的，本發明所采取的技術方案是：

一種基于深度學習圖像識別的餐廳自動結算方法，其特征在于，包括以下步驟：

(1)通過單目攝像頭采集餐盤識別區的完整圖像；

(2)將獲取的完整圖像輸入到ENet Object Detection模型系統，首先經過骨干網絡ENet提取基本特征，再經過FFWA過濾篩選出便于定位和識別的優質特征，然后輸出可信度(conf)和初步的定位框、類別標簽；

(3)通過自適應的NMS算法進行后處理，篩選掉可信度(conf)較低的定位框；

(4)輸出最終的定位框及類別標簽數據；

(5)將最終的定位框及類別標簽數據傳輸至計價程序；

(6)計價程序將最終的定位框及類別標簽數據轉換成菜品種類及數量，根據預先錄入的菜價計算并顯示菜品總價格；

(7)客戶通過支付系統完成付款，回到步驟(1)。