[發明專利]一種基于實時圖像識別的交互式問答方法及終端

有效

• 申請號: 201911321703.3
• 申請日: 2019-12-20
• 公開（公告）號: CN111178199B
• 公開（公告）日: 2023-04-28
• 發明（設計）人: 劉德建;楊政;陳禹;郭玉湖;陳宏
• 申請（專利權）人: 福建天泉教育科技有限公司
• 主分類號: G06V30/418
• 分類號: G06V30/418;G06V30/24;G06V30/262
• 代理公司: 福州市博深專利事務所(普通合伙) 35214
• 代理人: 唐燕玲

1.一種基于實時圖像識別的交互式問答方法，其特征在于，包括步驟：

S1、創建測試題，所述測試題包括問題及其對應的可輸入的答案范圍；

S2、根據所述測試題進行提問；

S3、實時獲取根據所述提問及其對應的可輸入的答案范圍做出的包括圖像的回答，并同步識別所述圖像的內容，根據識別結果對所述回答進行測評；

所述步驟S3中所述實時獲取根據所述提問及其對應的可輸入的答案范圍做出的包括圖像的回答，并同步識別所述圖像的內容包括：

用戶舉起物品放到攝像頭前，圖像捕獲模塊實時捕獲圖像，通過圖像識別模塊識別圖像的內容；

所述步驟S3中所述識別所述圖像的內容，根據識別結果對所述回答進行測評包括：

根據所述識別到的圖像內容解析得到識別結果集，通過預設的檢測邏輯判斷所述識別結果集中是否存在有效結果項，若存在，則將所述有效結果項作為此次提問的回答，并根據所述提問對應的答案判定所述回答是否正確，若不存在，則不作處理，直到提問超時；

所述步驟S3中所述通過預設的檢測邏輯判斷所述識別結果集中是否存在有效結果項包括：

S31、判斷所述識別結果集中是否存在未檢測的結果項，若存在，則獲取其中匹配度最高的結果項，并執行步驟S32，若不存在，則判定所述識別結果集中無有效結果項；

S32、判斷所述結果項的匹配度是否大于最低匹配度，若是，則執行步驟S33，若否，則判定所述識別結果集中無有效結果項；

S33、判定所述結果項是否在所述可輸入的答案范圍中，若是，則確定所述結果項為有效結果項，若否，則將當前結果項標記為已檢測結果項，并返回步驟S31。

2.根據權利要求1所述的一種基于實時圖像識別的交互式問答方法，其特征在于，所述步驟S1包括：

接收可輸入的答案范圍；

接收預設數量的問題及從所述可輸入的答案范圍中確定的針對每一問題的答案項；

根據接收的問題及其對應的答案項創建測試題并保存。

3.根據權利要求1所述的一種基于實時圖像識別的交互式問答方法，其特征在于，所述步驟S3中所述根據所述識別到的圖像內容解析得到識別結果集包括：

將所述識別到的圖像內容與預設的由訓練腳本根據大量圖片訓練得到的模型進行匹配，將匹配到的結果項及其對應的匹配度保存至識別結果集中。

4.一種基于實時圖像識別的交互式問答終端，包括存儲器、處理器及存儲在存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現以下步驟：

S1、創建測試題，所述測試題包括問題及其對應的可輸入的答案范圍；

S2、根據所述測試題進行提問；

S3、實時獲取根據所述提問及其對應的可輸入的答案范圍做出的包括圖像的回答，并同步識別所述圖像的內容，根據識別結果對所述回答進行測評；

所述步驟S3中所述實時獲取根據所述提問及其對應的可輸入的答案范圍做出的包括圖像的回答，并同步識別所述圖像的內容包括：

用戶舉起物品放到攝像頭前，圖像捕獲模塊實時捕獲圖像，通過圖像識別模塊識別圖像的內容；

所述步驟S3中所述識別所述圖像的內容，根據識別結果對所述回答進行測評包括：

根據所述識別到的圖像內容解析得到識別結果集，通過預設的檢測邏輯判斷所述識別結果集中是否存在有效結果項，若存在，則將所述有效結果項作為此次提問的回答，并根據所述提問對應的答案判定所述回答是否正確，若不存在，則不作處理，直到提問超時；

所述步驟S3中所述通過預設的檢測邏輯判斷所述識別結果集中是否存在有效結果項包括：

S31、判斷所述識別結果集中是否存在未檢測的結果項，若存在，則獲取其中匹配度最高的結果項，并執行步驟S32，若不存在，則判定所述識別結果集中無有效結果項；

S32、判斷所述結果項的匹配度是否大于最低匹配度，若是，則執行步驟S33，若否，則判定所述識別結果集中無有效結果項；

S33、判定所述結果項是否在所述可輸入的答案范圍中，若是，則確定所述結果項為有效結果項，若否，則將當前結果項標記為已檢測結果項，并返回步驟S31。