[發明專利]基于圖像識別的餐飲行業的自動收費方法及系統

在審

• 申請號: 201710740118.1
• 申請日: 2017-08-25
• 公開（公告）號: CN107563461A
• 公開（公告）日: 2018-01-09
• 發明（設計）人: 凌易中;劉明麗
• 申請（專利權）人: 北京中駿博研科技有限公司
• 主分類號: G06K17/00
• 分類號: G06K17/00;G06K9/32;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及一種基于圖像識別的餐飲行業的自動收費方法及系統。

背景技術

目前餐飲計費有3種方式：

1、完全人工計費

2、預儲值卡計費(即入餐時先辦一張預儲值的卡，消費完后，退卡結費)

3、RFID芯片識別(RFID是一種可射頻識別的芯片，在每個碗的碗底貼一張RFID芯片，用碗的顏色或大小來區分價格，在食物裝盤時就需要事先按照碗的大小和顏色——即事先標價來裝盛食物)。這是目前唯一可以實現無人計費收費的方案。這種方案的缺點是成本高，每一個碗底都需要貼RFID芯片一塊，但 RFID只能針對碗進行標價，而不能讓識別器認出這是什么菜然后針對菜品計費。并且不是所有的食物都可以貼上RFID芯片，比如一次性紙杯配裝的飲料或者一些零散的食物，因為RFID芯片的成本較高，若不回收，就會造成巨大的浪費。所以現有技術的缺點很明顯，總結起來就是：使用成本高、靈活性極差、維護麻煩、管理成本高、適用范圍非常窄。尤其是第3種作為目前可行的無人收費方案，根本不能完好的解決計費問題，因此適用范圍非常的窄，也很少能看到有餐廳使用。

有鑒于上述的缺陷，本設計人積極加以研究創新，以期創設一種基于圖像識別的餐飲行業的自動收費方法及系統，使其更具有產業上的利用價值。

發明內容

為解決上述技術問題，本發明的目的是解決目前快餐行業計費和收費時必須依賴人工的問題，即解決提供了一種全自動無人計費收費的基于圖像識別的餐飲行業的自動收費方法及系統。

本發明基于圖像識別的餐飲行業的自動收費方法，包括：

將待付款食物置于預先設定的圖像采集區，通過具有深度探測功能的攝像頭獲取食物圖像；

對所述食物圖像進行分析，將包含食物價格的識別圖像分離出來；

對所述識別圖像進行圖像增強，將所述識別圖像進行分類，采用相應類型的識別圖像識別方法對所述識別圖像進行識別，確定相應的食物價格，其中，所述識別圖像的類型包括：食物外包裝上的二維碼或條形碼，容置食物的餐具的形狀、色彩圖像以及食物本身的圖像；

消費者采用微信、支付寶或其他自助付款方式進行支付。

進一步地，對所述識別圖像進行識別的方法包括：

若所述識別圖像為二位碼或條形碼，則通過可以識別條形碼或二維碼的開源軟件庫獲取待付款食物的價格信息；

若所述識別圖像為容置食物的餐具的形狀、色彩圖像或食物本身的圖像，則將所述的識別圖像與圖像-價格對應數據庫中的預存儲的模板圖像進行匹配，若找到匹配圖像，則獲取該匹配圖形對應的價格信息輸出；若沒有找到匹配圖像，則發出報警信息，將該識別圖像以及該識別圖像對應的價格信息更新至圖像-價格對應數據庫。

進一步地，還包括采用Google的TensorFlow開源軟件庫來對容置食物的餐具的形狀、色彩圖像或食物本身的圖像進行數據訓練具體的訓練步驟包括：

將食物或裝有食物的餐具放在攝像頭下，攝像頭以至少兩個不同的角度獲取食物或裝有食物的餐具的圖像，獲取食物在餐具中至少兩個不同放置方式的圖像，對同一食物或同一裝有食物的餐具拍攝5～8張不同的圖像；

對每一張圖像分別使用LBP、Gabor、CEDD、LCC特征采集算法采集特征數據；

對得到的識別圖像以及特征數據設置相應的標簽，輸出給TensorFlow軟件，TensorFlow軟件用于自動完成無監督的訓練和建模；其中，訓練過程中如果出現沖突，即兩種食物無法分辨率出來，則按照TensorFloww的沖突解決規則重新拍照重新訓練或增加更多維度更多類型的特征數據。

進一步地，采用“霍夫圓尋找算法”，找出所有圓形口的餐具，采用“霍夫線條尋找算法”，對找出來的線條進行封閉，對封閉后的圖形尋找所有的矩形輪廓，即可確認方形口的餐具，餐具確認之后，使用相同的坐標從彩色圖像上將餐具內的彩色圖像提取出來，將識別圖像加上提取的特征數據，交給TensorFlow 進行識別，確定待付款食物的價格信息。

進一步地，還包括防作弊處理，所述防作弊處理包括：判斷待付款食物是否完整的放置在預先設定的圖像采集區，其中通過計算食物邊緣或用于容置食物的餐具邊緣的完整程度判斷待付款食物是否放置在預先設定的圖像采集區，以及通過計算食物離攝像頭的距離，判斷待付款食物是否放置在預先設定的圖像采集區；

若待付款食物在預先設定的圖像采集區，則獲取所述待付款食物的食物圖像，判斷獲取的食物圖像中是否有食物之外的異物圖像，若有，則發出報警信息，若沒有，則存儲該待付款食物的食物圖像；