[發明專利]基于銀行導覽系統的智能服務機器人系統

在審

• 申請號: 201710678553.6
• 申請日: 2017-08-10
• 公開（公告）號: CN107563886A
• 公開（公告）日: 2018-01-09
• 發明（設計）人: 禹鑫燚;汪濤;歐林林;楊帆;張強
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06Q40/02
• 分類號: G06Q40/02;G06F21/31;G06F3/0488
• 代理公司: 杭州天正專利事務所有限公司33201
• 代理人: 王兵,黃美娟

1.一種基于銀行導覽系統的智能服務機器人系統，其特征在于：系統的軟件安裝在銀行服務機器人的Windows主控機上，基于銀行導覽系統的智能服務機器人系統的前端業務系統模塊與銀行系統服務器端通過WiFi無線連接，此外前端業務系統模塊還與語音模塊、人臉識別模塊、底盤移動模塊進行連接；

所述系統的客戶端部分包括依次連接的前端業務系統模塊、身份證讀卡設備、銀行卡讀卡設備，通過銀行服務機器人外部連接的身份證、銀行卡讀卡設備將客戶的信息進行讀取，前端業務系統模塊又與銀行系統服務器端通過WiFi進行無線連接，通過Http請求將客戶信息傳入銀行系統中進行比對，由銀行系統服務端通過Servlet返回響應，身份認證成功后，進入前端業務系統模塊，完成客戶的自助業務辦理，與此同時，前端業務系統模塊通過腳本與語音模塊通信，向語音模塊發送文本數據，語音模塊將其轉換為音頻數據發送給發音模塊，播放音頻，并且能夠從傳感器模塊中采集客戶聲音，經過語音模塊進行語音識別返回對應的音頻數據；前端業務系統模塊與人臉識別模塊也通過腳本通信，能夠向人臉識別模塊發出識別請求，人臉識別模塊通過opencv讀取視頻流的方式的從傳感器模塊中獲取到客戶圖像，進行人臉識別，將識別結果返回給前端業務系統模塊；前端業務系統模塊還能夠給底盤移動模塊發送移動指令，底盤移動模塊需要與避障模塊協同完成路徑規劃，它們之間通過ROS進行通信，避障模塊一方面從傳感器模塊接收障礙物最短距離，另一方面從底盤移動模塊接收機器人當前速度、方向角，經過避障模塊內部算法處理后，返回機器人的下一段時間速度、方向角交給底盤移動模塊去執行；

各模塊的具體構成是：

前端業務系統模塊，前端業務系統模塊安裝在銀行服務機器人的主控機上，與銀行服務機器人外部的身份證讀卡設備，銀行卡讀卡設備通過串口連接，其輸入為客戶的信息，銀行客戶通過在身份證、銀行卡讀卡設備上刷卡，進入前端業務系統模塊，同時前端業務系統模塊向銀行系統服務器端發送Http請求，通過Servlet處理Http請求，再由銀行系統服務器端向前端業務系統模塊返回應答，用于客戶對整個前端業務系統模塊進行操作，完成客戶需要辦理的自助業務，前端業務系統模塊還與后臺運行的語音模塊和底盤移動模塊通過JavaScript腳本文件連接，前端業務系統模塊接收到客戶請求后，通過腳本文件，向語音模塊發布文本數據；向底盤移動模塊發布移動指令；

避障模塊，該模塊與傳感器模塊、底盤移動模塊相連接，與傳感器模塊連接部分，其輸入為距離傳感器獲取到的障礙物的最短距離值，與底盤移動模塊連接部分，其輸入為銀行服務機器人當前的速度與方向角，該模塊通過局部控制器完成對服務機器人進行安全平穩的移動控制，使其從一個航點運動到下一個航點并最終到達任務的目標位置；局部控制器經過模塊內部局部路徑規劃算法處理，輸出機器人應當在下一段時間運動的方向角和速度給底盤運動模塊，模塊內部轉換為運動指令并由底盤移動模塊執行，底盤移動模塊驅動電機和輪子，讓機器人規劃出合理且安全的軌跡；

語音模塊，該模塊與傳感器模塊和前端業務系統模塊連接，與傳感器模塊連接部分，其輸入為聲音采集獲取到的客戶的語音輸入，該模塊獲取到客戶的音頻數據后，利用音頻解碼技術對音頻數據進行解碼，模塊內部包含BNF語法文件，語法文件解析后，會編譯成一個離線語法識別網絡，音頻解碼后能夠在該語法網絡中進行匹配，獲取到匹配的文本數據后，由模塊的TTS功能轉換為音頻數據，最后通過發音模塊輸出對應的語音；與前端業務系統模塊連接部分，通過前端業務系統的Http請求，由銀行系統服務器端處理后，會通過JavaScript腳本文件向語音模塊輸入文本數據，再由模塊中的TTS功能轉換為音頻數據，最后再由發音模塊輸出語音；

人臉識別模塊，該模塊與傳感器模塊和前端業務系統模塊相連接，與傳感器模塊連接部分，其輸入為視覺傳感器獲取到的客戶人臉圖像，前端業務系統模塊向人臉識別模塊發送識別請求后，通過opencv獲取到服務機器人攝像頭前的一幀圖像，用于對銀行客戶的身份認證，模塊內部創建檢測句柄檢測到人臉，再創建識別句柄從人臉中提取特征，計算出特征向量；同理，在銀行系統服務器端的客戶人臉庫中也提取出特征，再通過特征比對接口進行相似度對比，該接口返回一個相似度分數，通過對該相似度分數進行評估，以此對銀行客戶進行身份認證；最后將識別結果返回給前端業務系統模塊；

傳感器模塊，該模塊與避障模塊、語音模塊、人臉識別模塊相連接，其輸入為外界環境信息，包括聲音信息、障礙物信息和圖像信息，該模塊為整個銀行服務機器人系統的數據采集部分，使用拾音器獲取語音輸入，將音頻數據輸出到語音模塊；使用視覺傳感器獲取圖像信息輸入，將圖像數據輸出到人臉識別模塊；使用距離傳感器獲取銀行環境中的障礙物距離信息輸入，將障礙物信息輸出到避障模塊；

底盤移動模塊，該模塊連接到避障模塊和前端業務系統模塊，該模塊接收前端業務系統模塊的移動指令，與避障模塊協同完成路徑規劃，底盤移動模塊向避障模塊輸出機器人當前時刻運動的速度和方向角；經過避障模塊內部局部路徑規劃處理后，將下一段時間內機器人應當運行的速度、方向角返回給底盤移動模塊，底盤移動模塊內部轉換為移動指令驅動電機和輪子工作。