[發明專利]基于圖像識別的自選餐廳自助付費裝置及其使用方法

有效

• 申請號: 201410311841.4
• 申請日: 2014-07-02
• 公開（公告）號: CN104077842A
• 公開（公告）日: 2014-10-01
• 發明（設計）人: 彭韌;金小能;廖宇晗;高翔;程章;樓小龍;郝力濱;江山永;葉思巧
• 申請（專利權）人: 浙江大學
• 主分類號: G07F7/08
• 分類號: G07F7/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林松海

1.一種基于圖像識別的自選餐廳自助付費裝置，其特征在于，它包括自助付費結算裝置，所述的自助付費結算裝置包括圖像采集裝置（1）、帶觸摸屏的電腦（2）、主支架（3）、底座（4）、放置窗口（5）、IC支付器（6）和刷卡區域（7），所述的帶觸摸屏的電腦（2）與圖像采集裝置（1）、IC支付器（6）分別連接。

2.根據權利要求1所述的基于圖像識別的自助付費裝置，其特征在于，所述的圖像采集裝置（1），包括環形LED照明燈（8）、攝像頭支架（9）和攝像頭（10）；所述的攝像頭（10）通過攝像頭支架（9）和環形LED照明燈（8）相連，并設置在放置窗口（5）的正上方，攝像頭（10）和帶觸摸屏的電腦（2）相接。

3.根據權利要求1所述的基于圖像識別的自選餐廳自助付費裝置，其特征在于，所述的放置窗口（5）還設置有壓力感應裝置，所述的壓力感應裝置與帶觸摸屏的電腦（2）相接。

4.根據權利要求1所述的基于圖像識別的自助付費裝置，其特征在于，帶觸摸屏的電腦（2）顯示相關信息，包括所拍攝餐盤圖片（11）、分割區域信息（12）、識別結果編號（13）、識別菜品名（14）、菜品單價（15）和菜品總價（16）。

5.一種基于圖像識別的自選餐廳自助付費裝置的使用方法，其特征在于，該方法包括以下步驟：

1）、接通電源，開啟裝置；

2）、壓力感應裝置檢測放置窗口（5）上是否放置有餐盤，若有餐盤，則轉入步驟3），若無餐盤，則繼續等待；

3）、帶觸摸屏的電腦（2）控制圖像采集裝置（1）采集餐盤的頂部圖片；

4）、帶觸摸屏的電腦（2）應用形狀識別技術定位圖像采集裝置（1）采集的餐盤的頂部圖片中餐盤的具體位置，根據餐盤位置分割提取相應菜品，再應用基于深度學習的菜品識別方法確定菜肴的種類、數量和名稱；

5）、帶觸摸屏的電腦（2）讀取數據庫中相應菜品的價格信息，計算總價格；

6）、帶觸摸屏的電腦（2）的顯示器顯示總價以及相關信息；

7）、用戶通過IC支付器（6）付款，若已付款，則轉入步驟8），否則繼續等待；

8）、帶觸摸屏的電腦（2）記錄交易信息。

6.根據權利要求5所述的方法，其特征在于，所述的形狀識別技術，主要應用Hough變換；應用Hough變換進行對圓形和橢圓形的識別，得到圓和橢圓的邊界和中心點，根據邊界和中心點再對圖像進行分割，截取每一盤菜品的中心圖像。

7.根據權利要求5所述的方法，其特征在于，所述的基于深度學習的菜品識別方法，主要是一種應用基于卷積神經網絡機器學習的識別方法，卷積神經網絡架構自上而下主要包括圖像輸入、卷基層a（5X5?kernel）、Pooling層（3X3?->?1）a、局部響應標準化層a、卷基層b（5X5?kernel）、局部響應標準化層b、Pooling層（3X3?->?1）b、局部相連層（非共享權重3X3?kernel）a、局部相連層（非共享權重3X3?kernel）b、全連接層；首先利用卷積層和Pooling層做兩層層疊，提取圖像特征；其中分別添加局部標準化層對網絡學習進行輔助，經過特征提取之后，進行兩層局部非共享權重相連層的學習，進行局部特征的綜合，最后進行全相連，將所有特征歸到菜品的類別數。

8.根據權利要求7所述的方法，其特征在于，所述的卷積層中，前一層的特征圖會經過和學習到的卷積核進行卷積，然后通過神經元的激發函數，得到該特征圖輸出；

所述的Pooling層將輸入圖進行降采樣，Pooling分為平均、最小化、最大化方式，在卷積神經網絡中采用最大化Pooling。

9.根據權利要求7所述的方法，其特征在于，所述的全連接層是全連接的一維網絡，對于全連接網絡，需要利用標準的向后傳遞法進行訓練。

10.根據權利要求7所述的方法，其特征在于，所述的基于卷積神經網絡機器學習的識別方法還有一種網絡訓練方法，它將所有數據分為6個批次，選擇不同的批次分別作測試和交叉驗證，具體如下：

a）、在批次1至4上進行訓練，利用批次5進行交叉驗證；

b）、在訓練一段時間后，若發現在批次5上的驗證誤差不在提升，則終止訓練；

c）、將批次5加入訓練，即fold?in；

d）、繼續訓練，使網絡在批次5上的誤差不但下降，當網絡在batch?5上的誤差下降到足夠接近原誤差時停止；

e）、調整學習率，使其為原來的1，繼續訓練10次；

f）、調整學習率，再縮小1，繼續訓練10次；

g）、停止訓練，利用批次6進行測試。