[發(fā)明專利]一種基于深度學習圖像識別的餐廳自動結(jié)算方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201811295435.8
• 申請日: 2018-11-01
• 公開（公告）號: CN109615358B
• 公開（公告）日: 2020-11-03
• 發(fā)明（設計）人: 方煉
• 申請（專利權(quán)）人: 北京偉景智能科技有限公司
• 主分類號: G06Q20/14
• 分類號: G06Q20/14;G06Q50/12;G06K9/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于深度學習圖像識別的餐廳自動結(jié)算方法，其特征在于，包括以下步驟：

（1）通過單目攝像頭采集餐盤識別區(qū)的完整圖像；

（2）將獲取的完整圖像輸入到ENet Object Detection模型系統(tǒng)，首先經(jīng)過骨干網(wǎng)絡ENet提取基本特征，再經(jīng)過FFWA過濾篩選出便于定位和識別的優(yōu)質(zhì)特征，然后輸出可信度和初步的定位框、類別標簽，其中，所述FFWA是基于特征金字塔網(wǎng)絡和雙向注意力機制的快速物體檢測算法，所述FFWA利用上層的語義信息來監(jiān)督下層的外觀特征篩選，并利用雙向注意力機制篩選每層特征以抽取優(yōu)質(zhì)特征；

（3）通過自適應的NMS算法進行后處理，篩選掉可信度較低的定位框；

（4）輸出最終的定位框及類別標簽數(shù)據(jù)；

（5）將最終的定位框及類別標簽數(shù)據(jù)傳輸至計價程序；

（6）計價程序?qū)⒆罱K的定位框及類別標簽數(shù)據(jù)轉(zhuǎn)換成菜品種類及數(shù)量，根據(jù)預先錄入的菜價計算并顯示菜品總價格；

（7）客戶通過支付系統(tǒng)完成付款，回到步驟（1）。

2.如權(quán)利要求1所述的基于深度學習圖像識別的餐廳自動結(jié)算方法，其特征在于，所述的“定位框”及“類別標簽”的生成方法及作用分別是：輸入餐盤識別區(qū)圖像后，所述ENetObject Detection模型系統(tǒng)從整個圖像中識別出餐盤并用框圖標記出來，便于記錄餐盤數(shù)量，此即生成“定位框”；與此同時，所述ENet Object Detection模型系統(tǒng)識別出不同種類的餐盤，為便于區(qū)分不同種類而對餐盤施加標簽，此即生成“類別標簽”。

3.如權(quán)利要求1所述的基于深度學習圖像識別的餐廳自動結(jié)算方法，其特征在于，所述的定位框及類別標簽數(shù)據(jù)屬于一種特征數(shù)據(jù)，把這些特征數(shù)據(jù)與具體的菜品種類、數(shù)量進行對應，當生成具體的“定位框”及“類別標簽”數(shù)據(jù)時，就會生成對應的菜品種類及數(shù)量數(shù)據(jù)。

4.一種基于深度學習圖像識別的餐廳自動結(jié)算系統(tǒng)，其特征在于，包括：

（1）用于采集餐盤識別區(qū)的完整圖像的單目攝像頭；

（2）圖像處理模塊，用于將單目攝像頭采集的完整圖像進行圖像處理，輸出定位框及類別標簽數(shù)據(jù)；

（3）計價程序模塊，用于將最終的定位框及類別標簽數(shù)據(jù)轉(zhuǎn)換成菜品種類及數(shù)量，根據(jù)預先錄入的菜價計算并顯示菜品總價格；

（4）支付系統(tǒng)，用于客戶根據(jù)計價程序模塊提供的菜品總價格完成付款。

5.如權(quán)利要求4所述的基于深度學習圖像識別的餐廳自動結(jié)算系統(tǒng)，其特征在于，所述的圖像處理模塊為ENet Object Detection模型。

6.如權(quán)利要求5所述的基于深度學習圖像識別的餐廳自動結(jié)算系統(tǒng)，其特征在于，所述的ENet Object Detection模型包括：

（a）用于提取完整圖像基本特征的骨干網(wǎng)絡ENet模塊；

（b）用于過濾篩選出便于定位和識別的優(yōu)質(zhì)特征的FFWA模塊；

該完整圖像經(jīng)過ENet模塊和FFWA模塊的處理后輸出可信度和初步的定位框、類別標簽；

（c）自適應的NMS算法模塊，用于對經(jīng)過ENet模塊和FFWA模塊輸出的數(shù)據(jù)進行后處理，篩選掉可信度較低的定位框，并輸出最終的定位框及類別標簽數(shù)據(jù)。

7.如權(quán)利要求4所述的基于深度學習圖像識別的餐廳自動結(jié)算系統(tǒng)，其特征在于，所述的圖像處理模塊、計價程序模塊和支付系統(tǒng)安裝在計算機系統(tǒng)中運行。