[發明專利]一種基于特征融合的購物結賬系統和方法

有效

• 申請號: 201811440047.4
• 申請日: 2018-11-29
• 公開（公告）號: CN109508974B
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 雷嘉寶;陳泳璇;姚若河;李澤威;林中卡;陳敏;葉長青;余衛宇
• 申請（專利權）人: 華南理工大學
• 主分類號: G06Q20/20
• 分類號: G06Q20/20;G06Q20/40;G06Q20/16
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 雷芬芬

1.一種基于特征融合的購物結賬系統，其特征在于，包括：商品識別結賬端和云端服務器，所述商品識別結賬端包括處理器、商品攝像頭、雙目攝像頭、壓力傳感器陣列模塊、置物臺、通信模塊、揚聲器、聲音采集模塊和觸摸顯示屏，所述云端服務器包括商品數據庫、交易記錄管理模塊、結賬模塊、商品識別模塊、人臉識別模塊和聲紋識別模塊；

所述商品攝像頭、雙目攝像頭、壓力傳感器陣列模塊、揚聲器、聲音采集模塊、觸摸顯示屏和處理器的一端連接，所述處理器的另一端通過通信模塊和商品數據庫、交易記錄管理模塊、結賬模塊、商品識別模塊、人臉識別模塊、聲紋識別模塊均連接；所述置物臺的表面貼有壓力傳感器陣列模塊；

處理器用于采集數據的初步處理；

商品攝像頭用于采集商品的圖像信息；

雙目攝像頭為通過光波頻段不同的雙目攝像頭，一只為可見光攝像頭，另一只為近紅外光攝像頭，用于采集顧客人臉圖像和支付二維碼圖像；

壓力傳感器陣列模塊包括壓力傳感器陣列單元和模數轉換電路，壓力傳感器陣列單元設置在置物臺的表面，壓力傳感器陣列單元和模數轉換電路的一端連接，模數轉換電路的另一端和處理器連接，用于采集商品的重量分布信息，構建重量分布圖；

置物臺為一塊純色平面板，用于放置被識別的商品，以及為商品圖像拍攝提供顏色均勻的統一背景；

通信模塊用于傳輸圖像以及其他數據信息，實現與云端服務器的通信；揚聲器用于播放商品識別信息和支付信息的語音提示；

聲音采集模塊包括麥克風和相應的驅動電路，用于采集聲紋信息；

觸摸顯示屏為電容或電阻觸控的彩色顯示屏，用于顯示所識別商品的列表以及商品支付信息；

商品數據庫用于存儲每件商品的名稱、重量、單價和價格信息；

交易記錄管理模塊用于記錄、查看和管理商品的交易記錄；

結賬模塊包括二維碼支付單元、生物支付單元，結賬模塊用于結合商品識別模塊的商品識別結果、人臉識別模塊和聲紋識別模塊識別出的顧客身份信息或支付二維碼的賬戶信息，調用相應的支付接口，從顧客的電子支付賬戶或虛擬支付賬戶里自動扣款結賬；

商品識別模塊包括商品定位單元和商品識別單元，商品識別模塊用于將上傳至云端服務器的商品圖像進行商品位置定位和商品種類識別；

人臉識別模塊包括人臉身份鑒別單元和眨眼檢測單元，人臉身份鑒別模塊用于將上傳至云端服務器的人臉圖像進行身份判別，眨眼檢測單元用于將上傳至云端服務器的人臉圖像進行生物活體的鑒別；

聲紋識別模塊包括依次連接的語音預處理單元、語音特征提取單元和語音分類單元，語音預處理單元用于對采集到的語音信號進行預處理，語音特征提取單元用于提取預處理后的語音特征，語音分類單元用于對提取到的語音特征進行分類。

2.根據權利要求1所述的基于特征融合的購物結賬系統，其特征在于，所述置物臺的左側是箱體，箱體內部設置有處理器和通信模塊，箱體尖角突起處的下側表面設置有商品攝像頭，箱體正面的傾斜面設置有觸摸顯示屏，觸摸顯示屏的下方且位于傾斜面上設置有小圓孔，小圓孔內部設置有揚聲器和聲音采集模塊，觸摸顯示屏的上方且位于傾斜面上設置雙目攝像頭。

3.根據權利要求1所述的基于特征融合的購物結賬系統，其特征在于，所述通信模塊為4G物聯網通信模塊、WIFI通信模塊和以太網通信模塊中的任意一種，所述處理器為微型電腦、工作站或嵌入式控制主板中的任意一種。