[發(fā)明專利]基于體感交互的閱讀方法以及裝置、系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010073607.8
• 申請(qǐng)日: 2020-01-20
• 公開（公告）號(hào): CN111324201A
• 公開（公告）日: 2020-06-23
• 發(fā)明（設(shè)計(jì)）人: 談丹
• 申請(qǐng)（專利權(quán)）人: 上海紙上絕知智能科技有限公司
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01
• 代理公司: 北京卓唐知識(shí)產(chǎn)權(quán)代理有限公司 11541
• 代理人: 唐海力

1.一種基于體感交互的閱讀方法，其特征在于，包括：

當(dāng)進(jìn)入閱讀模式后，基于手勢(shì)交互獲得用戶意圖；其中所述閱讀模式是指通過(guò)預(yù)設(shè)指令進(jìn)入到的交互模式；

基于用戶意圖，識(shí)別出手勢(shì)所指位置；其中所述用戶意圖是指用戶在閱讀過(guò)程中擬進(jìn)行的閱讀操作；

根據(jù)所述手勢(shì)所指位置，反饋對(duì)應(yīng)的交互結(jié)果。

2.根據(jù)權(quán)利要求1所述的基于體感交互的閱讀方法，其特征在于，當(dāng)進(jìn)入閱讀模式后，基于手勢(shì)交互獲得用戶意圖包括：

當(dāng)進(jìn)入閱讀模式后，采用多模態(tài)動(dòng)作識(shí)別技術(shù)識(shí)別出手勢(shì)交互對(duì)應(yīng)的第一手勢(shì)交互指令；其中所述第一手勢(shì)交互指令包括至少：播放所點(diǎn)區(qū)域視頻、播放所點(diǎn)區(qū)域音頻、播放所劃線區(qū)域音頻或者播放所畫圈區(qū)域音頻；

基于第一手勢(shì)交互指令，獲得用戶意圖。

3.根據(jù)權(quán)利要求1所述的基于體感交互的閱讀方法，其特征在于，當(dāng)進(jìn)入閱讀模式后，基于手勢(shì)交互獲得用戶意圖包括：

當(dāng)進(jìn)入閱讀模式后，采用多模態(tài)動(dòng)作識(shí)別技術(shù)識(shí)別出手勢(shì)交互對(duì)應(yīng)的第二手勢(shì)交互指令；其中所述第二手勢(shì)交互指令包括至少：暫停播放、播放下一段或者調(diào)節(jié)音量；

基于第二手勢(shì)交互指令，獲得用戶意圖。

4.根據(jù)權(quán)利要求1所述的基于體感交互的閱讀方法，其特征在于，當(dāng)進(jìn)入閱讀模式后，基于手勢(shì)交互獲得用戶意圖包括：采用多模態(tài)動(dòng)作識(shí)別技術(shù)進(jìn)行手勢(shì)識(shí)別：

檢測(cè)手勢(shì)所指位置；

通過(guò)連續(xù)幀進(jìn)行手指檢測(cè)得到手指劃過(guò)的軌跡；

根據(jù)所述手指劃過(guò)的軌跡，識(shí)別出所述手勢(shì)是否為單手指單點(diǎn)、單手指畫圈或者單手指劃線中的任一一種。

5.根據(jù)權(quán)利要求1所述的基于體感交互的閱讀方法，其特征在于，基于用戶意圖，識(shí)別出手勢(shì)所指位置包括：

基于在閱讀繪本或者教材伴讀時(shí)想要翻頁(yè)的用戶意圖，識(shí)別出手勢(shì)所指位置是否位于繪本或者教材上。

6.根據(jù)權(quán)利要求1所述的基于體感交互的閱讀方法，其特征在于，當(dāng)進(jìn)入閱讀模式后，基于手勢(shì)交互獲得用戶意圖之前還包括：

通過(guò)接收語(yǔ)音數(shù)據(jù)輸入得到語(yǔ)音指令，進(jìn)入閱讀模式。

7.根據(jù)權(quán)利要求1所述的基于體感交互的閱讀方法，其特征在于，基于用戶意圖，識(shí)別出手勢(shì)所指位置包括：

基于用戶意圖識(shí)別出手勢(shì)所指位置處的圖像數(shù)據(jù)，利用大規(guī)模圖像檢索技術(shù)與圖片庫(kù)中的圖片數(shù)據(jù)進(jìn)行匹配。

8.一種基于體感交互的閱讀裝置，其特征在于，包括：

意圖獲取模塊，用于當(dāng)進(jìn)入閱讀模式后，基于手勢(shì)交互獲得用戶意圖；其中所述閱讀模式是指通過(guò)預(yù)設(shè)指令進(jìn)入到的交互模式；

識(shí)別模塊，用于基于用戶意圖，識(shí)別出手勢(shì)所指位置；其中所述用戶意圖是指用戶在閱讀過(guò)程中擬進(jìn)行的閱讀操作；

反饋模塊，用于根據(jù)所述手勢(shì)所指位置，反饋對(duì)應(yīng)的交互結(jié)果。

9.根據(jù)權(quán)利要求8所述的基于體感交互的閱讀裝置，其特征在于，所述意圖獲取模塊包括：

識(shí)別單元，用于當(dāng)進(jìn)入閱讀模式后，采用多模態(tài)動(dòng)作識(shí)別技術(shù)識(shí)別出手勢(shì)交互對(duì)應(yīng)的第一手勢(shì)交互指令；其中所述第一手勢(shì)交互指令包括至少：播放所點(diǎn)區(qū)域視頻、播放所點(diǎn)區(qū)域音頻、播放所劃線區(qū)域音頻或者播放所畫圈區(qū)域音頻；

獲取單元，用于基于第一手勢(shì)交互指令，獲得用戶意圖。

10.一種基于體感交互的閱讀系統(tǒng)，其特征在于，包括：智能終端和體感交互設(shè)備，以使用戶在真實(shí)場(chǎng)景中，通過(guò)所述體感交互設(shè)備與所述智能終端進(jìn)行體感交互，所述體感交互設(shè)備，用于提供可進(jìn)行體感交互的一個(gè)或多個(gè)互動(dòng)道具，所述智能終端設(shè)備，包括：圖像采集裝置、語(yǔ)音采集裝置、顯示裝置以及語(yǔ)音播報(bào)裝置，

所述圖像采集裝置，用于監(jiān)控桌面范圍內(nèi)的手勢(shì)交互圖像信息以及手勢(shì)所指位置處的圖像數(shù)據(jù)；

所述語(yǔ)音采集裝置，用于監(jiān)聽(tīng)桌面場(chǎng)景中用于觸發(fā)的語(yǔ)音信息；

所述顯示裝置，用于將視覺(jué)信息進(jìn)行顯示并輸出視頻信息；

所述語(yǔ)音播報(bào)裝置，用于輸出音頻信息。