[發(fā)明專利]一種拍照框選的方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010368339.2
• 申請(qǐng)日: 2020-04-30
• 公開（公告）號(hào): CN111432131B
• 公開（公告）日: 2022-03-08
• 發(fā)明（設(shè)計(jì)）人: 喬慧麗
• 申請(qǐng)（專利權(quán)）人: 廣東小天才科技有限公司
• 主分類號(hào): H04N5/232
• 分類號(hào): H04N5/232
• 代理公司: 廣州智斧知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44649
• 代理人: 孔德超

本發(fā)明實(shí)施例涉及智能設(shè)備技術(shù)領(lǐng)域，公開了一種拍照框選的方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。該方法包括：當(dāng)接收到框選指令時(shí)，利用攝像頭獲取操作體在承載體上的位置坐標(biāo)以及操作者的眼球在所述承載體上的注視區(qū)域；在所述注視區(qū)域內(nèi)存在且僅存在一個(gè)所述位置坐標(biāo)時(shí)，執(zhí)行第一操作；所述第一操作為基于所述位置坐標(biāo)以及預(yù)設(shè)規(guī)則對(duì)承載體上的內(nèi)容進(jìn)行拍照。實(shí)施本發(fā)明實(shí)施例，通過操作體定位和眼球跟蹤技術(shù)相結(jié)合的方式實(shí)現(xiàn)框選承載體上的內(nèi)容，可摒棄多操作體造成無法識(shí)別具體框選內(nèi)容，提高框題準(zhǔn)確率，提升框題效率。

技術(shù)領(lǐng)域

本發(fā)明涉及智能設(shè)備技術(shù)領(lǐng)域，具體涉及一種拍照框選的方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

目前，通過學(xué)習(xí)機(jī)、家教機(jī)等智能設(shè)備具有框題功能，框題方式大致分為兩大類，一類是通過智能設(shè)備后置攝像頭對(duì)承載體(例如書本)需要選取的內(nèi)容進(jìn)行拍照；另一類是主要是通過智能設(shè)備前置攝像頭完成，攝像頭識(shí)別操作體(例如手指)在承載體上位置，然后基于該位置對(duì)承載體上的內(nèi)容進(jìn)行拍照。框題主要用于搜題，或者用于儲(chǔ)存知識(shí)點(diǎn)或錯(cuò)題，便于以后的溫習(xí)等。

第一類框題方式流程比較繁瑣，而且還依賴于操作者的拍照水平，過于模糊無法進(jìn)行后續(xù)操作；第二類框題方式使用簡(jiǎn)單，但是也會(huì)存在以下問題：在實(shí)踐中發(fā)現(xiàn)，由于承載體可能會(huì)出現(xiàn)褶皺、卷曲等現(xiàn)象，操作者在框題過程中，經(jīng)常習(xí)慣性地用一只手按壓承載體的一側(cè)，另一只手作為操作體去定位框選的內(nèi)容，這種情況下，攝像頭會(huì)識(shí)別到多個(gè)操作體，智能設(shè)備無法對(duì)這種情況做出準(zhǔn)備判斷，其結(jié)果是要么無法識(shí)別框選的具體內(nèi)容，要么造成框選內(nèi)容與用戶的需求不一致。

發(fā)明內(nèi)容

針對(duì)所述缺陷，本發(fā)明實(shí)施例公開了一種拍照框選的方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，能夠提高框題的準(zhǔn)確率。

本發(fā)明實(shí)施例第一方面公開一種拍照框選的方法，所述方法包括：

當(dāng)接收到框選指令時(shí)，利用攝像頭獲取操作體在承載體上的位置坐標(biāo)以及操作者的眼球在所述承載體上的注視區(qū)域；

在所述注視區(qū)域內(nèi)存在且僅存在一個(gè)所述位置坐標(biāo)時(shí)，執(zhí)行第一操作；所述第一操作為基于所述位置坐標(biāo)以及預(yù)設(shè)規(guī)則對(duì)承載體上的內(nèi)容進(jìn)行拍照。

作為一種可選的實(shí)施方式，在本發(fā)明實(shí)施例第一方面中，所述利用攝像頭獲取操作體在承載體上的位置坐標(biāo)，包括：

啟動(dòng)第一攝像頭，獲取帶有操作體的承載體的預(yù)覽圖像；

確定預(yù)覽圖像中操作體的圖像坐標(biāo)；

利用所述圖像坐標(biāo)確定所述操作體的位置坐標(biāo)。

作為一種可選的實(shí)施方式，在本發(fā)明實(shí)施例第一方面中，所述確定預(yù)覽圖像中操作體的圖像坐標(biāo)，包括：

利用所述操作體和承載體上的內(nèi)容之間的顏色差異識(shí)別所述操作體；

確定所述操作體在預(yù)覽圖像中的圖像坐標(biāo)。

作為一種可選的實(shí)施方式，在本發(fā)明實(shí)施例第一方面中，所述利用攝像頭獲取操作者的眼球在所述承載體上的注視區(qū)域，包括：

啟動(dòng)第二攝像頭，獲取操作者的臉部圖像；

確定所述臉部圖像中瞳孔中心的位置以及所述瞳孔中心的位置相對(duì)于基準(zhǔn)點(diǎn)的偏移量；

基于所述偏移量確定所述眼球的視線方向及在所述承載體上的注視點(diǎn)；

以所述注視點(diǎn)為中心，確定注視區(qū)域。

作為一種可選的實(shí)施方式，在本發(fā)明實(shí)施例第一方面中，確定所述臉部圖像中瞳孔中心的位置以及所述瞳孔中心的位置相對(duì)于基準(zhǔn)點(diǎn)的偏移量，包括：

將所述臉部圖像輸入在先訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)確定瞳孔的特征點(diǎn)；

利用所述瞳孔的特征點(diǎn)確定瞳孔中心的位置；