[發明專利]一種基于深度學習的自然交互方法及終端

在審

• 申請號: 201910636847.1
• 申請日: 2019-07-15
• 公開（公告）號: CN110414393A
• 公開（公告）日: 2019-11-05
• 發明（設計）人: 胡宏波;熊偉
• 申請（專利權）人: 福州瑞芯微電子股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/20;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 福州市博深專利事務所(普通合伙) 35214
• 代理人: 張明;顏麗蓉

1.一種基于深度學習的自然交互方法，其特征在于，包括步驟：

S1、采用深度學習模型在包含點擊實施體的點擊區域對應的圖像中識別點擊實施體的關鍵點；

S2、根據所述關鍵點確定所述點擊實施體的動作；

S3、計算所述點擊實施體的動作所在的區域與所述點擊區域的深度差，根據所述深度差確定所述點擊實施體是否點擊所述點擊區域。

2.根據權利要求1所述的一種基于深度學習的自然交互方法，其特征在于，其特征在于，所述步驟S1之前包括：

采用標注有關鍵點信息的點擊實施體對所述深度學習模型進行訓練，使所述深度學習模型能夠對所述點擊實施體的關鍵點進行定位。

3.根據權利要求1所述的一種基于深度學習的自然交互方法，其特征在于，所述步驟S2包括：

采用深度學習模型的分類器根據所述關鍵點確定所述點擊實施體的動作。

4.根據權利要求1或3所述的一種基于深度學習的自然交互方法，其特征在于，所述步驟S2還包括：

判斷所述點擊實施體的動作是否為點擊動作，若是，則執行步驟S3。

5.根據權利要求1所述的一種基于深度學習的自然交互方法，其特征在于，所述步驟S3包括：

通過深度卷積神經網絡將所述圖像轉化為對應的深度圖，獲取深度信息；

根據所述深度信息計算所述點擊實施體的動作所在的區域與所述點擊區域的深度差；

根據所述深度差確定所述點擊實施體是否與所述點擊區域接觸，若是，則所述點擊實施體點擊所述點擊區域，否則，所述點擊實施體未點擊所述點擊區域。

6.根據權利要求1或5所述的一種基于深度學習的自然交互方法，其特征在于，所述步驟S3之后還包括：

若所述點擊實施體點擊所述點擊區域，則將所述點擊實施體對所述點擊區域的點擊轉化為可識別的點擊動作模式。

7.一種基于深度學習的自然交互終端，包括存儲器、處理器及存儲在存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現以下步驟：

S1、采用深度學習模型在包含點擊實施體的點擊區域對應的圖像中識別點擊實施體的關鍵點；

S2、根據所述關鍵點確定所述點擊實施體的動作；

S3、計算所述點擊實施體的動作所在的區域與所述點擊區域的深度差，根據所述深度差確定所述點擊實施體是否點擊所述點擊區域。

8.根據權利要求7所述的一種基于深度學習的自然交互方法，其特征在于，其特征在于，所述步驟S1之前包括：

采用標注有關鍵點信息的點擊實施體對所述深度學習模型進行訓練，使所述深度學習模型能夠對所述點擊實施體的關鍵點進行定位。

9.根據權利要求7所述的一種基于深度學習的自然交互方法，其特征在于，所述步驟S2包括：

采用深度學習模型的分類器根據所述關鍵點確定所述點擊實施體的動作。

10.根據權利要求7或9所述的一種基于深度學習的自然交互方法，其特征在于，所述步驟S2還包括：

判斷所述點擊實施體的動作是否為點擊動作，若是，則執行步驟S3。

11.根據權利要求7所述的一種基于深度學習的自然交互方法，其特征在于，所述步驟S3包括：

通過深度卷積神經網絡將所述圖像轉化為對應的深度圖，獲取深度信息；

根據所述深度信息計算所述點擊實施體的動作所在的區域與所述點擊區域的深度差；

根據所述深度差確定所述點擊實施體是否與所述點擊區域接觸，若是，則所述點擊實施體點擊所述點擊區域，否則，所述點擊實施體未點擊所述點擊區域。

12.根據權利要求7或11所述的一種基于深度學習的自然交互方法，其特征在于，所述步驟S3之后還包括：

若所述點擊實施體點擊所述點擊區域，則將所述點擊實施體對所述點擊區域的點擊轉化為可識別的點擊動作模式。