[發明專利]一種拍照框選的方法、裝置、電子設備及存儲介質

有效

• 申請號: 202010368339.2
• 申請日: 2020-04-30
• 公開（公告）號: CN111432131B
• 公開（公告）日: 2022-03-08
• 發明（設計）人: 喬慧麗
• 申請（專利權）人: 廣東小天才科技有限公司
• 主分類號: H04N5/232
• 分類號: H04N5/232
• 代理公司: 廣州智斧知識產權代理事務所(普通合伙) 44649
• 代理人: 孔德超

本發明實施例涉及智能設備技術領域，公開了一種拍照框選的方法、裝置、電子設備及存儲介質。該方法包括：當接收到框選指令時，利用攝像頭獲取操作體在承載體上的位置坐標以及操作者的眼球在所述承載體上的注視區域；在所述注視區域內存在且僅存在一個所述位置坐標時，執行第一操作；所述第一操作為基于所述位置坐標以及預設規則對承載體上的內容進行拍照。實施本發明實施例，通過操作體定位和眼球跟蹤技術相結合的方式實現框選承載體上的內容，可摒棄多操作體造成無法識別具體框選內容，提高框題準確率，提升框題效率。

技術領域

本發明涉及智能設備技術領域，具體涉及一種拍照框選的方法、裝置、電子設備及存儲介質。

背景技術

目前，通過學習機、家教機等智能設備具有框題功能，框題方式大致分為兩大類，一類是通過智能設備后置攝像頭對承載體(例如書本)需要選取的內容進行拍照；另一類是主要是通過智能設備前置攝像頭完成，攝像頭識別操作體(例如手指)在承載體上位置，然后基于該位置對承載體上的內容進行拍照。框題主要用于搜題，或者用于儲存知識點或錯題，便于以后的溫習等。

第一類框題方式流程比較繁瑣，而且還依賴于操作者的拍照水平，過于模糊無法進行后續操作；第二類框題方式使用簡單，但是也會存在以下問題：在實踐中發現，由于承載體可能會出現褶皺、卷曲等現象，操作者在框題過程中，經常習慣性地用一只手按壓承載體的一側，另一只手作為操作體去定位框選的內容，這種情況下，攝像頭會識別到多個操作體，智能設備無法對這種情況做出準備判斷，其結果是要么無法識別框選的具體內容，要么造成框選內容與用戶的需求不一致。

發明內容

針對所述缺陷，本發明實施例公開了一種拍照框選的方法、裝置、電子設備及存儲介質，能夠提高框題的準確率。

本發明實施例第一方面公開一種拍照框選的方法，所述方法包括：

當接收到框選指令時，利用攝像頭獲取操作體在承載體上的位置坐標以及操作者的眼球在所述承載體上的注視區域；

在所述注視區域內存在且僅存在一個所述位置坐標時，執行第一操作；所述第一操作為基于所述位置坐標以及預設規則對承載體上的內容進行拍照。

作為一種可選的實施方式，在本發明實施例第一方面中，所述利用攝像頭獲取操作體在承載體上的位置坐標，包括：

啟動第一攝像頭，獲取帶有操作體的承載體的預覽圖像；

確定預覽圖像中操作體的圖像坐標；

利用所述圖像坐標確定所述操作體的位置坐標。

作為一種可選的實施方式，在本發明實施例第一方面中，所述確定預覽圖像中操作體的圖像坐標，包括：

利用所述操作體和承載體上的內容之間的顏色差異識別所述操作體；

確定所述操作體在預覽圖像中的圖像坐標。

作為一種可選的實施方式，在本發明實施例第一方面中，所述利用攝像頭獲取操作者的眼球在所述承載體上的注視區域，包括：

啟動第二攝像頭，獲取操作者的臉部圖像；

確定所述臉部圖像中瞳孔中心的位置以及所述瞳孔中心的位置相對于基準點的偏移量；

基于所述偏移量確定所述眼球的視線方向及在所述承載體上的注視點；

以所述注視點為中心，確定注視區域。

作為一種可選的實施方式，在本發明實施例第一方面中，確定所述臉部圖像中瞳孔中心的位置以及所述瞳孔中心的位置相對于基準點的偏移量，包括：

將所述臉部圖像輸入在先訓練的卷積神經網絡確定瞳孔的特征點；

利用所述瞳孔的特征點確定瞳孔中心的位置；