[發明專利]一種基于深度學習的自然交互方法及終端

在審

• 申請號: 201910636847.1
• 申請日: 2019-07-15
• 公開（公告）號: CN110414393A
• 公開（公告）日: 2019-11-05
• 發明（設計）人: 胡宏波;熊偉
• 申請（專利權）人: 福州瑞芯微電子股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/20;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 福州市博深專利事務所(普通合伙) 35214
• 代理人: 張明;顏麗蓉

本發明提供一種基于深度學習的自然交互方法和終端，采用深度學習模型在包含點擊實施體的點擊區域對應的圖像中識別點擊實施體的關鍵點；根據所述關鍵點確定所述點擊實施體的動作；計算所述點擊實施體的動作所在的區域與所述點擊區域的深度差，根據所述深度差確定所述點擊實施體是否點擊所述點擊區域；不需要在點擊實施體設置預設特征紋理，能夠檢測不具有特征的點擊實施體是否進行了物理點擊，達到自然交互的效果，非常適合點讀機、游戲機等人機交互的終端，提高了人機交互的便利性。

技術領域

本發明涉及人機交互領域，尤其涉及一種基于深度學習的自然交互方法及終端。

背景技術

現有的點讀終端通常采用點讀筆或者手指點讀方式實現點讀，點讀筆或者手指點讀有一個共同的特點，就是點讀筆或者手指需要具備預先設置的特征紋理。點讀終端是通過識別點讀筆或手指上的特征紋理來確定點讀筆或者手指具體所指的位置并判斷點讀筆或手指與其所指的位置是否接觸，并依此進行對應的響應。

然而，上述的點讀方式每次進行點讀之前都要確保點讀筆或手指具備預先設置的紋理特征，并且要保證紋理特征的完整性，否則，將會導致點讀出錯，難免給操作者造成一定的不便之處。

發明內容

本發明所要解決的技術問題是：提供一種基于深度學習的自然交互方法及終端，無需預先設置特征紋理即可實現點讀，提高人機交互的便利性。

為了解決上述技術問題，本發明采用的一種技術方案為：

一種基于深度學習的自然交互方法，包括步驟：

S1、采用深度學習模型在包含點擊實施體的點擊區域對應的圖像中識別點擊實施體的關鍵點；

S2、根據所述關鍵點確定所述點擊實施體的動作；

S3、計算所述點擊實施體的動作所在的區域與所述點擊區域的深度差，根據所述深度差確定所述點擊實施體是否點擊所述點擊區域。

進一步的，所述步驟S1之前包括：

采用標注有關鍵點信息的點擊實施體對所述深度學習模型進行訓練，使所述深度學習模型能夠對所述點擊實施體的關鍵點進行定位。

進一步的，所述步驟S2包括：

采用深度學習模型的分類器根據所述關鍵點確定所述點擊實施體的動作。

進一步的，所述步驟S2還包括：

判斷所述點擊實施體的動作是否為點擊動作，若是，則執行步驟S3。

進一步的，所述步驟S3包括：

通過深度卷積神經網絡將所述圖像轉化為對應的深度圖，獲取深度信息；

根據所述深度信息計算所述點擊實施體的動作所在的區域與所述點擊區域的深度差；

根據所述深度差確定所述點擊實施體是否與所述點擊區域接觸，若是，則所述點擊實施體點擊所述點擊區域，否則，所述點擊實施體未點擊所述點擊區域。

進一步的，所述步驟S3之后還包括：

若所述點擊實施體點擊所述點擊區域，則將所述點擊實施體對所述點擊區域的點擊轉化為可識別的點擊動作模式。

為了解決上述技術問題，本發明采用的另一種技術方案為：

一種基于深度學習的自然交互終端，包括存儲器、處理器及存儲在存儲器上并可在所述處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現以下步驟：

S1、采用深度學習模型在包含點擊實施體的點擊區域對應的圖像中識別點擊實施體的關鍵點；

S2、根據所述關鍵點確定所述點擊實施體的動作；