[發(fā)明專利]識別點讀內(nèi)容的方法、裝置、電子設(shè)備及計算機(jī)存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011104395.1
• 申請日: 2020-10-15
• 公開（公告）號: CN114429632A
• 公開（公告）日: 2022-05-03
• 發(fā)明（設(shè)計）人: 董勝;徐浩;項小明
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06V30/148
• 分類號: G06V30/148;G06V10/24
• 代理公司: 北京市立方律師事務(wù)所 11330
• 代理人: 張筱寧

本申請實施例提供了一種識別點讀內(nèi)容的方法、裝置、電子設(shè)備及計算機(jī)存儲介質(zhì)，涉及云教育技術(shù)領(lǐng)域。該方法通過獲取點讀讀物的圖像，并通過圖像識別方法識別出圖像中的字符和指示物的位置信息，利用字符和指示物的位置信息確定指示物指向的字符，最后根據(jù)指示物指向的字符確定點讀內(nèi)容，使得點讀范圍不再受點讀筆和特定的點讀教材所限，能夠支持普通的教材、數(shù)據(jù)等讀物的點讀，具有極大的便利性，對于用戶在學(xué)習(xí)是遇到的生僻內(nèi)容，可以快速獲得解答，有效提升用戶的學(xué)習(xí)效率。

技術(shù)領(lǐng)域

本申請涉及點讀技術(shù)領(lǐng)域，具體而言，本申請涉及一種識別點讀內(nèi)容的方法、裝置、電子設(shè)備及計算機(jī)存儲介質(zhì)。

背景技術(shù)

云教育(Cloud Computing Education簡稱：CCEDU)，是指基于云計算商業(yè)模式應(yīng)用的教育平臺服務(wù)。在云平臺上，所有的教育機(jī)構(gòu)，培訓(xùn)機(jī)構(gòu)，招生服務(wù)機(jī)構(gòu)，宣傳機(jī)構(gòu)，行業(yè)協(xié)會，管理機(jī)構(gòu)，行業(yè)媒體，法律結(jié)構(gòu)等都集中云整合成資源池，各個資源相互展示和互動，按需交流，達(dá)成意向，從而降低教育成本，提高效率。

具有點讀功能的家教機(jī)正成為云教育領(lǐng)域中的重要載體，目前識別點讀內(nèi)容的方法通常是先準(zhǔn)備好點讀處的識別結(jié)果，獲取點讀位置后直接返回預(yù)先準(zhǔn)備好的內(nèi)容。比如將點讀內(nèi)容預(yù)先寫入點讀課本的隱形碼層，點讀筆通過紅外發(fā)光二極管發(fā)光，攝像頭獲取碼層數(shù)據(jù)，通過識別碼層數(shù)據(jù)識別點讀內(nèi)容。還比如，在點讀課本的頁面上設(shè)置標(biāo)記信息，點讀筆上有特殊標(biāo)記，由點讀筆觸發(fā)點讀，攝像頭獲取標(biāo)記信息，從而失敗點讀內(nèi)容。

現(xiàn)有方案存在以下一些問題：

1.識別范圍受限，只能識別定制化的書本；

2.成本高，需要定制化點讀書本以及點讀筆，需要耗費大量人力物力，

3.定制好的點讀書本也無法更新點讀內(nèi)容。

發(fā)明內(nèi)容

本發(fā)明實施例提供一種克服上述問題或者至少部分地解決上述問題的識別點讀內(nèi)容的方法、裝置、電子設(shè)備及計算機(jī)存儲介質(zhì)。

第一方面，提供了一種識別點讀內(nèi)容的方法，該方法包括：

獲取點讀讀物的圖像；

識別圖像中字符和指示物的位置信息，根據(jù)字符和指示物的位置信息確定指示物指向的字符；

根據(jù)指示物指向的字符確定點讀內(nèi)容。

在一個可能的實現(xiàn)方式中，識別圖像中字符和指示物的位置信息，根據(jù)字符和指示物的位置信息確定指示物指向的字符，包括：

通過OCR識別引擎對圖像進(jìn)行識別，獲得圖像中字符的位置信息；通過指尖檢測方法識別圖像中指示物的位置信息；

根據(jù)字符和指示物的位置信息，計算與指示物距離最近的字符，作為指示物指向的字符。

在一個可能的實現(xiàn)方式中，識別圖像中字符和指示物的位置信息，根據(jù)字符和指示物的位置信息確定指示物指向的字符，包括：

通過OCR識別引擎對圖像進(jìn)行識別，獲得圖像中的文字行以及文字行的位置；通過指尖檢測方法識別圖像中指示物的位置信息；

根據(jù)文字行和指示物的位置信息，獲得與指示物最近的文字行，作為目標(biāo)文字行；

確定目標(biāo)文字行中單個字符占用的像素寬度，結(jié)合目標(biāo)文字行和指示物的位置信息獲得指示物指向的字符。

在一個可能的實現(xiàn)方式中，根據(jù)文字行和指示物的位置信息，獲得與指示物最近的文字行，作為目標(biāo)文字行，包括：

對于任意一個文字行，根據(jù)文字行和指示物的位置信息，計算指示物到文字行的底邊的距離；

根據(jù)指示物與文字行的底邊的相對位置關(guān)系，獲得文字行的位置關(guān)系系數(shù)；