[發明專利]用于書本閱讀過程中的人機交互方法、裝置及電子設備

在審

• 申請號: 202011289359.7
• 申請日: 2020-11-17
• 公開（公告）號: CN112433664A
• 公開（公告）日: 2021-03-02
• 發明（設計）人: 王輝;周艷潔;陳曦
• 申請（專利權）人: 東莞市東全智能科技有限公司
• 主分類號: G06F3/0487
• 分類號: G06F3/0487;G06K9/00
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 張艷美;劉光明

1.一種用于書本閱讀過程中的人機交互方法，其特征在于，包括：

采集書本的內容圖像并通過顯示屏顯示所述內容圖像；

實時采集用戶圖像，由所述用戶圖像獲得用戶在所述顯示屏上的注視點；

對所述注視點的內容執行相應的操作，所述相應的操作包括對所述注視點的內容在所述顯示屏上進行擴充搜索。

2.如權利要求1所述的用于書本閱讀過程中的人機交互方法，其特征在于，于用戶在閱讀書本的過程中遇到問題而同步觀看所述顯示屏上的對應位置時獲取到所述注視點，所述“對所述注視點的內容在所述顯示屏上進行擴充搜索”包括成語釋義、背景資料查詢、英文翻譯、題目答案查詢、圖像檢索之至少一者。

3.如權利要求1所述的用于書本閱讀過程中的人機交互方法，其特征在于，所述“由所述用戶圖像獲得用戶在所述顯示屏上的注視點”具體為：

由所述用戶圖像判斷用戶的頭部方向，由用戶的頭部方向判斷用戶是否注視所述顯示屏；

當判斷出用戶注視所述顯示屏時，由該用戶圖像分析獲得用戶在所述顯示屏上的注視點。

4.如權利要求1所述的用于書本閱讀過程中的人機交互方法，其特征在于，

當所述注視點的內容顯示大小小于追蹤精度時，放大所述注視點的區域，并進一步獲取用戶在放大后的區域內的注視點，將用戶在放大后的區域的注視點作為用戶的注視點。

5.一種用于書本閱讀過程中的人機交互裝置，其特征在于，包括：

第一采集模塊，用于采集書本的內容圖像；

顯示模塊，用于顯示所述內容圖像；

第二采集模塊，用于實時采集用戶圖像；

圖像處理模塊，用于對所述用戶圖像進行處理；以及

眼動追蹤模塊，用于根據所述圖像處理模塊的輸出計算獲得用戶在所述顯示屏上的注視點；

操作模塊，用于對所述注視點的內容執行相應的操作，所述相應的操作包括對所述注視點的內容在所述顯示屏上進行擴充搜索。

6.一種電子設備，其特征在于，包括：

第一攝像裝置，用于拍攝書本的內容圖像；

顯示屏，用于顯示所述內容圖像；

光源模塊，用于發出光源以照射用戶；

第二攝像裝置，用于拍攝用戶圖像；

處理器，與所述第一攝像裝置、第二攝像裝置通信連接；以及

存儲器，用于存儲一個或多個程序，當一個或多個所述程序被所述處理器執行，使得所述處理器實現如權利要求1至4任一項所述的用于書本閱讀過程中的人機交互方法。

7.如權利要求6所述的電子設備，其特征在于，所述第二攝像裝置為一紅外攝像頭，所述光源模塊包括兩個紅外發射器，兩所述紅外發射器正對設于所述第二攝像裝置的兩側。

8.如權利要求6所述的電子設備，其特征在于，所述第一攝像裝置設于所述顯示屏的上側，所述光源模塊、第二攝像裝置設于所述顯示屏的下側。

9.如權利要求6所述的電子設備，其特征在于，還包括殼體，所述第一攝像裝置設于所述殼體的頂部，所述第一攝像裝置可相對所述殼體翻轉預設角度以調整其拍攝區域。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序可被處理器執行以完成如權利要求1至4任一項所述的用于書本閱讀過程中的人機交互方法。