[發(fā)明專利]一種指讀方法、裝置、機(jī)器人、終端及計算機(jī)存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011147163.4
• 申請日: 2020-10-23
• 公開（公告）號: CN112364718A
• 公開（公告）日: 2021-02-12
• 發(fā)明（設(shè)計）人: 羅輝
• 申請（專利權(quán)）人: 深圳市云希谷科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/18;G06K9/46;G06K9/62;G09B5/04
• 代理公司: 深圳市特訊知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44653
• 代理人: 黃彧

本發(fā)明提供一種指讀方法、裝置、機(jī)器人、終端及計算機(jī)存儲介質(zhì)，通過獲取指讀圖像，指讀圖像包括內(nèi)容正文、邊框花邊、章節(jié)節(jié)點和位置指示工具，根據(jù)指讀圖像確定當(dāng)前頁面信息、當(dāng)前指讀章節(jié)，獲取當(dāng)前指讀章節(jié)對應(yīng)的當(dāng)前指讀章節(jié)語音并播放，本發(fā)明還提供一種指讀裝置、機(jī)器人、終端及計算機(jī)存儲介質(zhì)，達(dá)到了基于現(xiàn)有的部分書籍通過預(yù)先處理即可實現(xiàn)指讀，不需要重新制作書籍和點讀筆，降低了成本，更加便利，提升了用戶體驗度。

技術(shù)領(lǐng)域

本發(fā)明涉及通信領(lǐng)域，特別是涉及一種指讀方法、裝置、機(jī)器人、終端及計算機(jī)存儲介質(zhì)。

背景技術(shù)

書籍閱讀是人們工作生活中非常重要的一部分，隨著技術(shù)的發(fā)展，人們對于閱讀輔助產(chǎn)品的需求日益增長，當(dāng)前一種常見的閱讀輔助技術(shù)包括OID點讀技術(shù)，針對OID點讀印刷物，一般配合點讀筆使用。在進(jìn)行點讀時，可以通過點讀筆，識別隱藏在印刷物中的OID編碼，播放與OID編碼對應(yīng)的點讀數(shù)據(jù)。

但該OID點讀技術(shù)需要配套制作其配套的書籍，對于消費(fèi)者來說成本較高，且必須配合點讀筆使用，不夠便利，用戶體驗度不高。

發(fā)明內(nèi)容

鑒于以上所述現(xiàn)有技術(shù)的缺點，本發(fā)明的目的在于提供一種指讀方法、裝置、機(jī)器人、終端及計算機(jī)存儲介質(zhì)，用于解決閱讀輔助需要配套制作其配套的書籍，對于消費(fèi)者來說成本較高，且必須配合點讀筆使用，不夠便利，用戶體驗度不高的問題。

為實現(xiàn)上述目的及其他相關(guān)目的，本發(fā)明的目的在于提供一種指讀方法，包括：

獲取指讀圖像，所述指讀圖像包括內(nèi)容正文、邊框花邊、章節(jié)節(jié)點和位置指示工具；

根據(jù)所述指讀圖像確定當(dāng)前頁面信息、當(dāng)前指讀章節(jié)；

獲取所述當(dāng)前指讀章節(jié)對應(yīng)的當(dāng)前指讀章節(jié)語音并播放。

可選的，所述根據(jù)所述指讀圖像確定當(dāng)前頁面信息包括：

對所述指讀圖像進(jìn)行掩碼處理，分別確定目標(biāo)邊框花邊輪廓和目標(biāo)章節(jié)節(jié)點輪廓；

根據(jù)所述目標(biāo)邊框花邊輪廓確定透視后指讀圖像；

根據(jù)所述目標(biāo)章節(jié)節(jié)點輪廓確定可疑圖片；

將所述透視后指讀圖像與所述可疑圖片進(jìn)行SIFT特征比對，確定所述當(dāng)前頁面信息。

可選的，所述對所述指讀圖像進(jìn)行掩碼處理，確定目標(biāo)邊框花邊輪廓包括：

對所述指讀圖像進(jìn)行掩碼處理，獲取多個初始輪廓掩碼；

對所述初始輪廓掩碼進(jìn)行逼近處理，確定多個疑似邊框花邊輪廓；

將多個所述疑似邊框花邊輪廓進(jìn)行聚類處理，確定目標(biāo)邊框花邊輪廓。

可選的，所述章節(jié)節(jié)點輪廓包括圓輪廓，所述對所述指讀圖像進(jìn)行掩碼處理，確定目標(biāo)章節(jié)節(jié)點輪廓包括：

確定所述目標(biāo)邊框花邊輪廓的各頂點信息；

根據(jù)所述頂點信息對所述指讀圖像進(jìn)行透視變換，生成透視后指讀圖像；

對所述透視后指讀圖像進(jìn)行掩碼處理，生成透視圖像掩碼集合，并對所述透視圖像掩碼集合進(jìn)行輪廓檢測，生成霍夫變換掩碼；

對所述霍夫變換掩碼進(jìn)行霍夫圓檢測，獲取多個疑似章節(jié)節(jié)點輪廓；

對所述章節(jié)節(jié)點輪廓進(jìn)行分類聚類，確定目標(biāo)章節(jié)節(jié)點輪廓。

可選的，所述根據(jù)所述目標(biāo)邊框花邊輪廓確定透視后指讀圖像包括：

獲取包括所述目標(biāo)邊框花邊輪廓的定位范圍，根據(jù)位于所述定位范圍之內(nèi)的所述指讀圖像生成定位圖像；

根據(jù)所述頂點信息對所述定位圖像進(jìn)行透視變換，生成透視后指讀圖像。