[發明專利]基于體感交互的閱讀方法以及裝置、系統

在審

• 申請號: 202010073607.8
• 申請日: 2020-01-20
• 公開（公告）號: CN111324201A
• 公開（公告）日: 2020-06-23
• 發明（設計）人: 談丹
• 申請（專利權）人: 上海紙上絕知智能科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 北京卓唐知識產權代理有限公司 11541
• 代理人: 唐海力

本申請公開了一種基于體感交互的閱讀方法以及裝置、系統。該方法包括當進入閱讀模式后，基于手勢交互獲得用戶意圖；其中所述閱讀模式是指通過預設指令進入到的交互模式；基于用戶意圖，識別出手勢所指位置；其中所述用戶意圖是指用戶在閱讀過程中擬進行的閱讀操作；根據所述手勢所指位置，反饋對應的交互結果。本申請解決了閱讀方法單一，用戶體驗不佳的技術問題。通過本申請讓使用者在真實世界中翻閱紙質書籍的同時又能獲得數字世界即時反饋的閱讀輔助信息。

技術領域

本申請涉及智能閱讀領域，具體而言，涉及一種基于體感交互的閱讀方法以及裝置、系統。

背景技術

閱讀，是每個年齡段的人群都會進行的一項活動，閱讀的內容也因人群的不同有很多的種類。如適合兒童閱讀的繪本、故事書等，學生則會閱讀教材、課本等；成年人閱讀小說或是報紙、期刊雜志等。

缺點在于：對于不同年齡階段，如何將原本紙質的閱讀內容以文本、圖片、語音、動畫等豐富有趣的媒體形式反饋給用戶；從而相較于電子書，更好地提供真實世界中的視覺和觸覺體驗。

針對相關技術中閱讀方法單一，用戶體驗不佳的問題，目前尚未提出有效的解決方案。

發明內容

本申請的主要目的在于提供一種用于體感交互的閱讀方法以及裝置、系統，以解決閱讀方法單一，用戶體驗不佳的問題。

為了實現上述目的，根據本申請的一個方面，提供了一種基于體感交互的閱讀方法。

根據本申請的基于體感交互的閱讀方法包括：當進入閱讀模式后，基于手勢交互獲得用戶意圖；其中所述閱讀模式是指通過預設指令進入到的交互模式；基于用戶意圖，識別出手勢所指位置；其中所述用戶意圖是指用戶在閱讀過程中擬進行的閱讀操作；根據所述手勢所指位置，反饋對應的交互結果。

進一步地，當進入閱讀模式后，基于手勢交互獲得用戶意圖包括：

當進入閱讀模式后，采用多模態動作識別技術識別出手勢交互對應的第一手勢交互指令；其中所述第一手勢交互指令包括至少：播放所點區域視頻、播放所點區域音頻、播放所劃線區域音頻或者播放所畫圈區域音頻。

基于第一手勢交互指令，獲得用戶意圖。

進一步地，當進入閱讀模式后，基于手勢交互獲得用戶意圖包括：

當進入閱讀模式后，采用多模態動作識別技術識別出手勢交互對應的第二手勢交互指令；其中所述第二手勢交互指令包括至少：暫停播放、播放下一段或者調節音量。

基于第二手勢交互指令，獲得用戶意圖。

進一步地，當進入閱讀模式后，基于手勢交互獲得用戶意圖包括：采用多模態動作識別技術進行手勢識別：

檢測手勢所指位置；

通過連續幀進行手指檢測得到手指劃過的軌跡；

根據所述手指劃過的軌跡，識別出所述手勢是否為單手指單點、單手指畫圈或者單手指劃線中的任一一種。

進一步地，基于用戶意圖，識別出手勢所指位置包括：

基于在閱讀繪本或者教材伴讀時想要翻頁的用戶意圖，識別出手勢所指位置是否位于繪本或者教材上。

進一步地，當進入閱讀模式后，基于手勢交互獲得用戶意圖之前還包括：

通過接收語音數據輸入得到語音指令，進入閱讀模式。

進一步地，基于用戶意圖，識別出手勢所指位置包括：

基于用戶意圖識別出手勢所指位置處的圖像數據，利用大規模圖像檢索技術與圖片庫中的圖片數據進行匹配。