[發明專利]一種搜題的方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010581532.4
• 申請日: 2020-06-23
• 公開（公告）號: CN111753168A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 趙華;史云奇
• 申請（專利權）人: 廣東小天才科技有限公司
• 主分類號: G06F16/953
• 分類號: G06F16/953;G06F16/583;G06K9/20;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 廣州智斧知識產權代理事務所(普通合伙) 44649
• 代理人: 孔德超

本發明實施例涉及智能設備技術領域，公開了一種搜題的方法、裝置、電子設備及存儲介質。該方法包括：在點讀場景下，啟動第一圖像采集裝置獲取承載體的預覽圖像，啟動第二圖像采集裝置獲取用戶的臉部圖像；在臉部圖像輸入預先訓練的表情識別模型，得到表情信息；在表情信息為預設表情時，根據臉部圖像確定用戶眼球在承載體上的注視點；基于注視點和預覽圖像獲取目標題目圖像；通過OCR識別目標題目圖像的字符信息，并利用字符信息在資源庫或互聯網中進行答案搜索。實施本發明實施例，可以與行為分析相結合，在獲取到預設表情時，通過眼球的動作確定目標題目，執行相應的搜題操作，實現智能化搜題，提升用戶體驗。

技術領域

本發明涉及智能設備技術領域，具體涉及一種搜題的方法、裝置、電子設備及存儲介質。

背景技術

目前，通過學習機、家教機等智能設備具有搜題功能，搜題方式大致分為兩大類，一類是通過智能設備后置攝像頭對承載體(例如書本)需要選取的內容進行拍照；另一類是主要是通過智能設備前置攝像頭完成，攝像頭識別操作體(例如手指)在承載體上位置，然后基于該位置對承載體上的內容進行拍照。拍照后的圖像通過OCR識別在資源庫或互聯網中搜索相應的答案或者讀音等。

第一類框題方式流程比較繁瑣，而且還依賴于用戶的拍照水平，過于模糊無法進行后續操作；第二類框題方式使用簡單，但是也會存在以下問題：在實踐中發現，由于操作體也出現在圖像中，可能會對部分內容進行遮擋，因此，還需要進行去雜質操作，響應時間長，智能化程度低。

發明內容

針對所述缺陷，本發明實施例公開了一種搜題的方法、裝置、電子設備及存儲介質，其能夠通過行為分析獲取用戶意圖，進而達到搜題的目的。

本發明實施例第一方面公開一種搜題的方法，所述方法包括：

在點讀場景下，啟動第一圖像采集裝置獲取承載體的預覽圖像，啟動第二圖像采集裝置獲取用戶的臉部圖像；

在所述臉部圖像輸入預先訓練的表情識別模型，得到表情信息；

在所述表情信息為預設表情時，根據所述臉部圖像確定用戶眼球在承載體上的注視點；

基于所述注視點和預覽圖像獲取目標題目圖像；

通過OCR識別所述目標題目圖像的字符信息，并利用所述字符信息在資源庫或互聯網中進行答案搜索。

作為一種可選的實施方式，在本發明實施例第一方面中，在所述表情信息為預設表情時，根據所述臉部圖像確定用戶眼球在承載體上的注視點，包括：

在所述表情信息為預設表情，且持續時間達到預設時間時，確定所述臉部圖像中瞳孔中心的位置以及所述瞳孔中心的位置相對于基準點的偏移量；

基于所述偏移量確定所述眼球的視線方向及在所述承載體上的注視點。

作為一種可選的實施方式，在本發明實施例第一方面中，確定所述臉部圖像中瞳孔中心的位置以及所述瞳孔中心的位置相對于基準點的偏移量，包括：

將所述臉部圖像輸入在先訓練的卷積神經網絡確定瞳孔的特征點；

利用所述瞳孔的特征點確定瞳孔中心的位置；

根據所述瞳孔中心的位置以及基準點確定所述瞳孔中心的位置的偏移量。

作為一種可選的實施方式，在本發明實施例第一方面中，根據所述瞳孔中心的位置以及基準點確定所述瞳孔中心的位置的偏移量，包括：

依據所述瞳孔的特征點，構建眼部外觀，將瞳孔中心直視時的位置作為基準點；

根據所述瞳孔中心的位置和所述基準點的位置，計算所述瞳孔中心位置相對于基準點的偏移量。