[發明專利]一種搜題的方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010581532.4
• 申請日: 2020-06-23
• 公開（公告）號: CN111753168A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 趙華;史云奇
• 申請（專利權）人: 廣東小天才科技有限公司
• 主分類號: G06F16/953
• 分類號: G06F16/953;G06F16/583;G06K9/20;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 廣州智斧知識產權代理事務所(普通合伙) 44649
• 代理人: 孔德超

1.一種搜題的方法，其特征在于，包括：

在點讀場景下，啟動第一圖像采集裝置獲取承載體的預覽圖像，啟動第二圖像采集裝置獲取用戶的臉部圖像；

在所述臉部圖像輸入預先訓練的表情識別模型，得到表情信息；

在所述表情信息為預設表情時，根據所述臉部圖像確定用戶眼球在承載體上的注視點；

基于所述注視點和預覽圖像獲取目標題目圖像；

通過OCR識別所述目標題目圖像的字符信息，并利用所述字符信息在資源庫或互聯網中進行答案搜索。

2.根據權利要求1所述的方法，其特征在于，在所述表情信息為預設表情時，根據所述臉部圖像確定用戶眼球在承載體上的注視點，包括：

在所述表情信息為預設表情，且持續時間達到預設時間時，確定所述臉部圖像中瞳孔中心的位置以及所述瞳孔中心的位置相對于基準點的偏移量；

基于所述偏移量確定所述眼球的視線方向及在所述承載體上的注視點。

3.根據權利要求2所述的方法，其特征在于，確定所述臉部圖像中瞳孔中心的位置以及所述瞳孔中心的位置相對于基準點的偏移量，包括：

將所述臉部圖像輸入在先訓練的卷積神經網絡確定瞳孔的特征點；

利用所述瞳孔的特征點確定瞳孔中心的位置；

根據所述瞳孔中心的位置以及基準點確定所述瞳孔中心的位置的偏移量。

4.根據權利要求3所述的方法，其特征在于，根據所述瞳孔中心的位置以及基準點確定所述瞳孔中心的位置的偏移量，包括：

依據所述瞳孔的特征點，構建眼部外觀，將瞳孔中心直視時的位置作為基準點；

根據所述瞳孔中心的位置和所述基準點的位置，計算所述瞳孔中心位置相對于基準點的偏移量。

5.根據權利要求1-4任一項所述的方法，其特征在于，基于所述注視點和預覽圖像獲取目標題目圖像，包括：

通過仿射變換將所述注視點坐標轉換到所述預覽圖像中，得到所述注視點坐標對應的在預覽圖像中的目標點坐標，所述注視點坐標對應的臉部圖像與目標點坐標對應的預覽圖像相適配；

將所述預覽圖像輸入文本檢測模型，得到每個題目的文本輪廓；

確定所述目標點坐標對應的目標文本輪廓；

將所述目標文本輪廓內對應的預覽圖像進行分割，得到目標題目圖像。

6.一種搜題的裝置，其特征在于，所述裝置，包括：

預覽單元，用于在點讀場景下，啟動第一圖像采集裝置獲取承載體的預覽圖像，啟動第二圖像采集裝置獲取用戶的臉部圖像；

識別單元，用于在所述臉部圖像輸入預先訓練的表情識別模型，得到表情信息；

注視單元，用于在所述表情信息為預設表情時，根據所述臉部圖像確定用戶眼球在承載體上的注視點；

獲取單元，用于基于所述注視點和預覽圖像獲取目標題目圖像；

搜索單元，用于通過OCR識別所述目標題目圖像的字符信息，并利用所述字符信息在資源庫或互聯網中進行答案搜索。

7.根據權利要求6所述的裝置，其特征在于，所述注視單元，包括：

第一確定子單元，用于在所述表情信息為預設表情，且持續時間達到預設時間時，確定所述臉部圖像中瞳孔中心的位置以及所述瞳孔中心的位置相對于基準點的偏移量；

第二確定子單元，用于基于所述偏移量確定所述眼球的視線方向及在所述承載體上的注視點。

8.根據權利要求7所述的裝置，其特征在于，所述第一確定子單元，包括：

第一孫單元，用于將所述臉部圖像輸入在先訓練的卷積神經網絡確定瞳孔的特征點；

第二孫單元，用于利用所述瞳孔的特征點確定瞳孔中心的位置；

第三孫單元，用于依據所述瞳孔的特征點，構建眼部外觀，將瞳孔中心直視時的位置作為基準點；

第四孫單元，用于根據所述瞳孔中心的位置和所述基準點的位置，計算所述瞳孔中心位置相對于基準點的偏移量。