[發明專利]一種客戶交互方法、裝置、介質和移動設備

在審

• 申請號: 202110901199.5
• 申請日: 2021-08-06
• 公開（公告）號: CN113657226A
• 公開（公告）日: 2021-11-16
• 發明（設計）人: 秦豪
• 申請（專利權）人: 上海有個機器人有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京天盾知識產權代理有限公司 11421
• 代理人: 梁秀秀

本發明公開了一種客戶交互方法、裝置、介質和移動設備，方法包括：獲取目標交互動作對應的關鍵點信息和至少一個動作判斷條件；采集環境實時圖像；識別環境實時圖像中全部關鍵點的坐標；判斷是否滿足每個動作判斷條件，若是，則判定目標交互動作已發生，執行下一預設步驟；若否，則保存環境實時圖像至歷史緩存數據池。本發明通過對環境場景中客戶的目標交互動作，比如揮手動作進行識別，確認目標客戶，從而增加了移動設備比如機器人與人的交互能力，提升了移動設備的智能化科技感，同時使移動設備提前感知目標客戶的位置，提升服務質量，節約服務資源。

技術領域

本發明涉及智能設備領域，尤其涉及一種客戶交互方法、裝置、介質和移動設備。

背景技術

移動設備，比如智能配送服務的機器人已經逐漸走進了人們的日常生活，在諸如智慧樓宇，酒店等場所，開啟承擔配送服務員的角色。一般情況下是由樓宇管理員或者外賣平臺發起機器人配送任務，并告知機器人的目標位置及配送客戶的聯系方式，當機器人到達或即將到達目標位置時，由機器人向云端發起電話通知請求，以便告知用戶取物。在配送場景中，當機器人任務下達后，機器人執行既定路線，達到預先設定的目標位置后，等待用戶取餐/取物，然后返回待命點。與服務人員在配送過程中與客戶有交互行為相比，這種按照既定路線運營的配送服務機器人就顯得非常死板，且浪費運力。

發明內容

本發明提供了一種客戶交互方法、裝置、介質和移動設備，解決了以上所述的技術問題。

本發明解決上述技術問題的技術方案如下：一種客戶交互方法，應用于移動設備，包括以下步驟：

步驟1，獲取目標交互動作對應的關鍵點信息和至少一個動作判斷條件；

步驟2，采集環境實時圖像；

步驟3，通過預先訓練完成的卷積神經網絡識別所述環境實時圖像中所述關鍵點信息對應全部關鍵點的坐標；

步驟4，根據所述全部關鍵點的坐標判斷是否滿足所述至少一個動作判斷條件中的每個動作判斷條件，若是，則判定目標交互動作已發生，執行下一預設步驟；若否，則保存所述環境實時圖像至歷史緩存數據池。

在一個優選實施方式中，所述目標交互動作為揮手動作，所述揮手動作對應的關鍵點坐標包括肩部坐標(Psxi、Psyi)、手肘坐標(Pexi、Peyi)和手部坐標(Pwxi、Pwyi)，當i為1時表示左側手臂的坐標數據，當i為2時表示右側手臂的坐標數據。

在一個優選實施方式中，所述至少一個動作判斷條件包括第一揮手條件，所述根據全部關鍵點的坐標判斷是否滿足第一揮手條件具體為：

S401，建立關鍵點坐標集合，所述關鍵點坐標集合包括肩部坐標(Psxi、Psyi)、手肘坐標(Pexi、Peyi)和手部坐標(Pwxi、Pwyi)；

S402，判斷所述關鍵點坐標集合的坐標數據是否滿足第一揮手條件，所述第一揮手條件為：

Psyi-Peyigap；

且Peyi-Pwyigap；

其中，i的取值為1或2，gap為圖片大小因子，所述環境實時圖像越大，gap取值越大。

在一個優選實施方式中，所述至少一個動作判斷條件包括第二揮手條件，所述根據全部關鍵點的坐標判斷是否滿足第二揮手條件具體為：

S404，獲取以預設頻率采集的多幀連續環境實時圖像中每幀環境實時圖像的全部關鍵點坐標，形成關鍵點坐標的時間序列數據，其中當前幀時間序列t0的關鍵點坐標包括肩部坐標P_Sxi0、肘部坐標P_exi0和手部坐標P_wxi0，上一幀時間序列t1的關鍵點坐標包括肩部坐標P_Sxi1、肘部P_exi1和手部P_wxi1；