[發明專利]基于體感交互的閱讀方法以及裝置、系統

在審

• 申請號: 202010073607.8
• 申請日: 2020-01-20
• 公開（公告）號: CN111324201A
• 公開（公告）日: 2020-06-23
• 發明（設計）人: 談丹
• 申請（專利權）人: 上海紙上絕知智能科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 北京卓唐知識產權代理有限公司 11541
• 代理人: 唐海力

1.一種基于體感交互的閱讀方法，其特征在于，包括：

當進入閱讀模式后，基于手勢交互獲得用戶意圖；其中所述閱讀模式是指通過預設指令進入到的交互模式；

基于用戶意圖，識別出手勢所指位置；其中所述用戶意圖是指用戶在閱讀過程中擬進行的閱讀操作；

根據所述手勢所指位置，反饋對應的交互結果。

2.根據權利要求1所述的基于體感交互的閱讀方法，其特征在于，當進入閱讀模式后，基于手勢交互獲得用戶意圖包括：

當進入閱讀模式后，采用多模態動作識別技術識別出手勢交互對應的第一手勢交互指令；其中所述第一手勢交互指令包括至少：播放所點區域視頻、播放所點區域音頻、播放所劃線區域音頻或者播放所畫圈區域音頻；

基于第一手勢交互指令，獲得用戶意圖。

3.根據權利要求1所述的基于體感交互的閱讀方法，其特征在于，當進入閱讀模式后，基于手勢交互獲得用戶意圖包括：

當進入閱讀模式后，采用多模態動作識別技術識別出手勢交互對應的第二手勢交互指令；其中所述第二手勢交互指令包括至少：暫停播放、播放下一段或者調節音量；

基于第二手勢交互指令，獲得用戶意圖。

4.根據權利要求1所述的基于體感交互的閱讀方法，其特征在于，當進入閱讀模式后，基于手勢交互獲得用戶意圖包括：采用多模態動作識別技術進行手勢識別：

檢測手勢所指位置；

通過連續幀進行手指檢測得到手指劃過的軌跡；

根據所述手指劃過的軌跡，識別出所述手勢是否為單手指單點、單手指畫圈或者單手指劃線中的任一一種。

5.根據權利要求1所述的基于體感交互的閱讀方法，其特征在于，基于用戶意圖，識別出手勢所指位置包括：

基于在閱讀繪本或者教材伴讀時想要翻頁的用戶意圖，識別出手勢所指位置是否位于繪本或者教材上。

6.根據權利要求1所述的基于體感交互的閱讀方法，其特征在于，當進入閱讀模式后，基于手勢交互獲得用戶意圖之前還包括：

通過接收語音數據輸入得到語音指令，進入閱讀模式。

7.根據權利要求1所述的基于體感交互的閱讀方法，其特征在于，基于用戶意圖，識別出手勢所指位置包括：

基于用戶意圖識別出手勢所指位置處的圖像數據，利用大規模圖像檢索技術與圖片庫中的圖片數據進行匹配。

8.一種基于體感交互的閱讀裝置，其特征在于，包括：

意圖獲取模塊，用于當進入閱讀模式后，基于手勢交互獲得用戶意圖；其中所述閱讀模式是指通過預設指令進入到的交互模式；

識別模塊，用于基于用戶意圖，識別出手勢所指位置；其中所述用戶意圖是指用戶在閱讀過程中擬進行的閱讀操作；

反饋模塊，用于根據所述手勢所指位置，反饋對應的交互結果。

9.根據權利要求8所述的基于體感交互的閱讀裝置，其特征在于，所述意圖獲取模塊包括：

識別單元，用于當進入閱讀模式后，采用多模態動作識別技術識別出手勢交互對應的第一手勢交互指令；其中所述第一手勢交互指令包括至少：播放所點區域視頻、播放所點區域音頻、播放所劃線區域音頻或者播放所畫圈區域音頻；

獲取單元，用于基于第一手勢交互指令，獲得用戶意圖。

10.一種基于體感交互的閱讀系統，其特征在于，包括：智能終端和體感交互設備，以使用戶在真實場景中，通過所述體感交互設備與所述智能終端進行體感交互，所述體感交互設備，用于提供可進行體感交互的一個或多個互動道具，所述智能終端設備，包括：圖像采集裝置、語音采集裝置、顯示裝置以及語音播報裝置，

所述圖像采集裝置，用于監控桌面范圍內的手勢交互圖像信息以及手勢所指位置處的圖像數據；

所述語音采集裝置，用于監聽桌面場景中用于觸發的語音信息；

所述顯示裝置，用于將視覺信息進行顯示并輸出視頻信息；

所述語音播報裝置，用于輸出音頻信息。