[發明專利]一種基于視覺識別的閱讀方法及裝置

在審

• 申請號: 201910023276.4
• 申請日: 2019-01-10
• 公開（公告）號: CN109800748A
• 公開（公告）日: 2019-05-24
• 發明（設計）人: 曹建明
• 申請（專利權）人: 深圳市格萊科技有限公司
• 主分類號: G06K9/20
• 分類號: G06K9/20
• 代理公司: 深圳市精英專利事務所 44242
• 代理人: 馮筠

本發明公開了一種基于視覺識別的閱讀方法及裝置。其中，所述方法包括：獲取書籍內容的圖像，進而根據該獲取的書籍內容的圖像，匹配該圖像中間圈特征點，進而根據該匹配得到的該圖像中間圈特征點，集合該匹配得到的特征點，存儲該集合的該匹配得到的特征點，進而對該存儲的特征點進行圖像識別匹配包括位置矯正、幾何矯正、坐標重新排列等，識別匹配出書籍內容，進而根據該識別匹配出的書籍內容，播放對應該識別匹配出的書籍內容的語音包括從坐標文件庫中調取坐標進行對比、點讀判斷和播放多媒體文件等。通過上述方式，能夠實現自動識別書籍內容和播放書籍的語音內容，使得書籍閱讀的時間成本得到有效降低。

技術領域

本發明涉及書籍閱讀技術領域，尤其涉及一種基于視覺識別的閱讀方法及裝置。

背景技術

現有的書籍閱讀方案，一般是指讀或認讀，但是在遇上不認識的書籍內容中的字體時，往往需要借助于字典等查閱工具來查閱該不認識的字體的讀音，這樣導致書籍閱讀的時間成本較高。

但是，發明人發現現有技術中至少存在如下問題：

現有的書籍閱讀方案，一般是指讀或認讀，無法實現自動識別書籍內容和播放書籍的語音內容，導致書籍閱讀的時間成本較高。

發明內容

有鑒于此，本發明的目的在于提出一種基于視覺識別的閱讀方法及裝置，能夠實現自動識別書籍內容和播放書籍的語音內容，使得書籍閱讀的時間成本得到有效降低。

根據本發明的一個方面，提供一種基于視覺識別的閱讀方法，包括：

獲取書籍內容的圖像；

根據所述獲取的書籍內容的圖像，匹配所述圖像中間圈特征點；

根據所述匹配得到的所述圖像中間圈特征點，集合所述匹配得到的特征點，存儲所述集合的所述匹配得到的特征點；

對所述存儲的特征點進行圖像識別匹配包括位置矯正、幾何矯正、坐標重新排列等，識別匹配出書籍內容；

根據所述識別匹配出的書籍內容，播放對應所述識別匹配出的書籍內容的語音包括從坐標文件庫中調取坐標進行對比、點讀判斷和播放多媒體文件等。

其中，所述根據所述獲取的書籍內容的圖像，對所述獲取的書籍內容的圖像的圖像特征點進行檢測，檢測得到圖像特征點描述符，根據所述檢測得到的圖像特征點描述符，匹配所述圖像中間圈特征點，包括：

根據所述獲取的書籍內容的圖像，采用穩定特征加速算法，對所述獲取的書籍內容的圖像的圖像特征點進行檢測，檢測得到圖像特征點描述符，根據所述檢測得到的圖像特征點描述符，匹配所述圖像中間圈特征點。

其中，所述根據所述匹配得到的所述圖像中間圈特征點，集合所述匹配得到的特征點，存儲所述集合的所述匹配得到的特征點，包括：

根據所述匹配得到的所述圖像中間圈特征點，集合所述匹配得到的特征點，采用分割k維數據空間的數據結構方式，存儲所述集合的所述匹配得到的特征點。

其中，所述對所述存儲的特征點進行圖像識別匹配包括位置矯正、幾何矯正、坐標重新排列等，識別匹配出書籍內容，包括：

采用K-鄰近算法方式，對所述存儲的特征點進行圖像識別匹配包括位置矯正、幾何矯正、坐標重新排列等，識別匹配出書籍內容。

其中，所述根據所述識別匹配出的書籍內容，播放對應所述識別匹配出的書籍內容的語音包括從坐標文件庫中調取坐標進行對比、點讀判斷和播放多媒體文件等，包括：

根據所述識別匹配出的書籍內容，采用隨機抽樣一致算法方式，為所述識別匹配出的書籍內容配置語音，并播放所述配置的書籍內容的語音，播放對應所述識別匹配出的書籍內容的語音包括從坐標文件庫中調取坐標進行對比、點讀判斷和播放多媒體文件等。