[發明專利]一種輔助閱讀方法、系統及存儲介質

在審

• 申請號: 202110262244.7
• 申請日: 2021-03-10
• 公開（公告）號: CN112836685A
• 公開（公告）日: 2021-05-25
• 發明（設計）人: 何苗;秦林嬋
• 申請（專利權）人: 北京七鑫易維信息技術有限公司;北京七鑫易維科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/20;G06K9/34;G06F3/01;G09B5/06
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種輔助閱讀方法，其特征在于，包括：

獲取用戶注視目標的圖像，并對所述圖像進行文字識別，獲得所述圖像中包含的文字；

對所述用戶進行視線追蹤，獲得用戶的注視點信息；

將所述注視點信息映射到所述圖像中，獲得用戶當前注視的目標文字；

將所述目標文字轉換為音頻進行播放。

2.根據權利要求1所述的方法，其特征在于，獲取用戶注視目標的圖像，包括：

若用戶注視目標的圖像通過顯示裝置顯示，則獲取所述圖像的來源；

根據所述來源獲取所述用戶注視目標的圖像；或者，

通過攝像頭對顯示的內容進行拍攝，獲得所述用戶注視目標的圖像。

3.根據權利要求1所述的方法，其特征在于，獲取用戶注視目標的圖像，包括：

若用戶注視的目標是實物書籍，則通過攝像頭對用戶注視的實物書籍進行拍攝，獲得所述用戶注視目標的圖像。

4.根據權利要求1所述的方法，其特征在于，將所述注視點信息映射到所述圖像中，獲得用戶當前注視的目標文字，包括：

獲取所述注視點信息在所述圖像中對應的坐標信息；

基于所述坐標信息確定用戶當前注視的目標文字。

5.根據權利要求1所述的方法，其特征在于，將所述目標文字轉換為音頻進行播放，包括：

判斷用戶注視所述目標文字的時長是否超過設定值，

若超過，則將所述目標文字轉換為音頻進行播放。

6.一種輔助閱讀系統，其特征在于，包括：圖像獲取模塊、文字識別模塊、視線追蹤模塊、注視點信息映射模塊及音頻播放模塊；

所述圖像獲取模塊用于獲取用戶注視目標的圖像；所述文字識別模塊用于對所述圖像進行文字識別，獲得所述圖像包含的文字；所述視線追蹤模塊用于對用戶進行眼動追蹤，獲得用戶的注視點信息；所述注視點信息映射模塊用于將所述注視點信息映射到所述圖像中，獲得用戶當前注視的目標文字；所述音頻播放模塊用于將所述目標文字轉換為音頻進行播放。

7.根據權利要求6所述的系統，其特征在于，所述系統還包括攝像頭；所述攝像頭用于對用戶注視的內容進行拍攝，獲得用戶注視目標的圖像，并將所述圖像發送至所述圖像獲取模塊；其中，用戶注視的是實物書籍或者用戶注視目標的圖像通過顯示裝置顯示。

8.根據權利要求6或7所述的系統，其特征在于，若用戶注視目標的圖像通過顯示裝置顯示，則所述視線追蹤模塊集成于所述顯示裝置上；

所述圖像獲取模塊還用于：獲取所述圖像的來源；根據所述來源獲取用戶注視目標的圖像。

9.根據權利要求7所述的系統，其特征在于，所述攝像頭和所述視線追蹤模塊集成于可穿戴設備上。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理裝置執行時實現如權利要求1-5中任一所述的輔助閱讀方法。