[發明專利]一種智慧餐廳的自助管理系統及方法

在審

• 申請號: 202011623790.0
• 申請日: 2020-12-31
• 公開（公告）號: CN112700352A
• 公開（公告）日: 2021-04-23
• 發明（設計）人: 董家文
• 申請（專利權）人: 珠海市遠利網訊科技發展有限公司
• 主分類號: G06Q50/12
• 分類號: G06Q50/12;G06K9/00;G01G19/414;G06N3/08
• 代理公司: 東莞市卓越超群知識產權代理事務所(特殊普通合伙) 44462
• 代理人: 李慧

1.一種智慧餐廳的自助管理系統，其特征在于，包括：

用于采集餐盤圖像及餐余圖像的攝像裝置；

用于采集餐余總重量的稱重裝置；

用于餐前結賬識別計算及餐后餐余識別計算的自助結算裝置，所述自助結算裝置基于目標神經網絡構成，且目標神經網絡為一個經訓練的卷積神經網絡；所述自助結算裝置

根據餐盤圖像識別菜品的實際數量和種類，并自助計算獲得結賬金額；

還根據所述餐余圖像及餐余總重量識別菜品的實際數量、種類、并估算每類菜品的餐余重量，以及根據所述餐余重量自助計算每類菜品的光盤指數；

用于顯示結賬金額及光盤指數的顯示裝置；

用于根據結賬金額自動結賬的自動結賬裝置，所述自動結賬裝置基于人臉識別獲取目標付款賬戶，并根據結賬金額從所述目標付款賬戶中自動扣款，完成結賬；

用于根據光盤指數自動考核的自動考核裝置，所述自動考核裝置基于人臉識別獲取目標考核賬戶，并根據光盤指數對所述目標考核賬戶自動執行相應考核，且所述相應考核包括獎勵、懲罰和保持。

2.根據權利要求1所述的一種智慧餐廳的自助管理系統，其特征在于：所述目標神經網絡為結構中添加有邊緣先驗注意力模塊的多通道神經網絡，且所述邊緣先驗注意力模塊為可訓練的邊緣檢測器，并通過注意力機制更改所述目標神經網絡結構上層通道的權重。

3.根據權利要求2所述的一種智慧餐廳的自助管理系統，其特征在于：所述邊緣檢測器由三個卷積模塊組成，且每個所述卷積模塊中均包括兩個residual模塊和一個se先驗模塊。

4.根據權利要求3所述的一種智慧餐廳的自助管理系統，其特征在于：所述se先驗模塊由若干先驗的邊緣檢測濾波器賦予權重，并在訓練中更新該權重；且所述先驗的邊緣檢測濾波器為高斯混合濾波器。

5.根據權利要求1所述的一種智慧餐廳的自助管理系統，其特征在于：所述目標神經網絡的位置回歸模塊入口處設有一個重量回歸模塊，且所述重量回歸模塊用于估算每類菜品的餐余重量。

6.一種智慧餐廳的自助管理方法，其特征在于，包括如下步驟：

S1.基于所述目標神經網絡構建如權利要求1-6中任意一項所述的自助管理系統；

S2.通過所述自助管理系統執行餐前結賬和餐后考核中的至少一種；

S2a.所述餐前結賬包括：

采集餐盤圖像，所述自助管理系統根據餐盤圖像識別菜品的實際數量和種類，并自助計算獲得結賬金額；

顯示所述結賬金額，并基于人臉識別從目標付款賬戶中自動扣除所述結賬金額；

S2b.所述餐后考核包括：

采集餐余圖像及餐余總重量，所述自助管理系統根據餐余圖像及餐余總重量識別菜品的實際數量、種類、并估算每類菜品的餐余重量，還根據所述餐余重量自助計算每類菜品的光盤指數；

顯示所述光盤指數，并基于人臉識別對目標考核賬戶執行相應考核，且所述相應考核包括獎勵、懲罰和保持。

7.根據權利要求6所述的一種智慧餐廳的自助管理方法，其特征在于，基于所述目標神經網絡構建自助管理系統包括餐前菜品識別計算訓練：

在餐盤中裝入菜品，并拍攝餐盤圖像；

提取餐盤圖像信息，并進行菜品類別標記；

構建菜品數據庫；

根據所述菜品數據庫，引入卷積神經網絡并對其進行訓練，使所述卷積神經網絡的卷積核獲得適用于菜品檢測的權重值，并將經訓練后的所述卷積神經網絡記為目標神經網絡；

基于所述目標神經網絡構建一可進行餐前菜品識別計算的自助管理系統。

8.根據權利要求7所述的一種智慧餐廳的自助管理方法，其特征在于，提取餐盤圖像信息時，至少提取所述餐盤圖像的餐盤邊緣花紋、顏色和形狀。