[發明專利]基于圖形識別的交互方法及電子設備

在審

• 申請號: 201810159703.7
• 申請日: 2018-02-26
• 公開（公告）號: CN108460124A
• 公開（公告）日: 2018-08-28
• 發明（設計）人: 徐樂;程璞;王西;顧嘉唯
• 申請（專利權）人: 北京物靈智能科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06K9/00;G09B5/06;G09B7/00
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 李莎;李弘

1.一種基于圖形識別的交互方法，其特征在于，包括：

獲取第一待分析圖像；

識別所述第一待分析圖像并得到識別結果；

播放與所述識別結果相關聯的朗讀音頻文件；

在所述朗讀音頻文件播放完畢后，根據所述識別結果，播放與所述第一待分析圖像的交互內容相關聯的提問音頻文件；

獲取第二待分析圖像；

確定第二待分析圖像中是否存在特征圖形；

若第二待分析圖像中存在特征圖形，則確定所述特征圖形是否與交互區域存在重疊；其中，所述交互區域為與所述提問音頻文件中的問題的答案相對應的區域；

若所述特征圖形與交互區域存在重疊，則播放正確音頻文件；

若所述特征圖形與交互區域不存在重疊，則播放錯誤音頻文件。

2.根據權利要求1所述的方法，其特征在于，還包括：

獲取特征圖形數據；所述特征圖形數據的數量大于預設數量閾值；

對所述特征圖形數據進行人工標注；

利用標注后的特征圖形數據和不含特征圖形的訓練圖像數據，訓練得到特征檢測器；

所述確定第二待分析圖像中是否存在特征圖形的步驟包括：

利用所述特征檢測器確定第二待分析圖像中是否存在特征圖形。

3.根據權利要求2所述的方法，其特征在于，所述特征圖形為手指圖形，所述特征檢測器為手指檢測器。

4.根據權利要求1所述的方法，其特征在于，所述手指檢測器采用Haar+adaboost、svm+hog、faster-rcnn、yolo、ssd中的一種或多種方法實現。

5.根據權利要求1所述的方法，其特征在于，還包括：

獲取訓練圖像數據；

對所述訓練圖像數據人工標注出交互區域。

6.根據權利要求5所述的方法，其特征在于，還包括：

提取所述訓練圖像數據中的比對特征點；

所述確定所述特征圖形是否與交互區域存在重疊的步驟，包括：

提取所述第二待分析圖像中的特征點；

將所述特征點與所述第二待分析圖像對應的訓練圖像數據的比對特征點進行匹配，得到單應性矩陣；

利用所述單應性矩陣，將所述特征圖形投影到所述第二待分析圖像對應的訓練圖像數據中，確定所述特征圖形在所述訓練圖像數據中的投影位置；

確定所述投影位置是否與所述人工標注出的交互區域存在重疊。

7.根據權利要求1所述的方法，其特征在于，所述交互區域包括多個，所述與所述第一待分析圖像的交互內容相關聯的提問音頻文件包括多個；

每個與所述第一待分析圖像的交互內容相關聯的提問音頻文件與交互區域一一對應；或者，一個交互區域對應于多個與所述第一待分析圖像的交互內容相關聯的提問音頻文件。

8.根據權利要求7所述的方法，其特征在于，在所述朗讀音頻文件播放完畢后，根據所述識別結果，播放與所述第一待分析圖像的交互內容相關聯的提問音頻文件，包括：

在所述朗讀音頻文件播放完畢后，根據所述識別結果，播放與所述第一待分析圖像的第一交互內容相關聯的第一提問音頻文件；

播放正確音頻文件或播放錯誤音頻文件之后，還包括：

播放與所述第一待分析圖像的第二交互內容相關聯的第二提問音頻文件。

9.根據權利要求1所述的方法，其特征在于，確定第二待分析圖像中是否存在特征圖形之后，還包括：

若第二待分析圖像中不存在特征圖形，則播放提醒語音。

10.一種電子設備，其特征在于，包括：

至少一個處理器；以及，

與所述至少一個處理器通信連接的存儲器；其中，

所述存儲器存儲有可被所述一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行如權利要求1-9任一項所述的方法。