[發明專利]交互閱讀方法、裝置、系統及存儲介質

在審

• 申請號: 201910557458.X
• 申請日: 2019-06-25
• 公開（公告）號: CN110299036A
• 公開（公告）日: 2019-10-01
• 發明（設計）人: 于德鴻
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G09B5/06
• 分類號: G09B5/06;G06K9/00
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 馬爽;臧建明

本發明提供一種交互閱讀方法、裝置、系統及存儲介質，該方法，包括：采集包含書本內容的視頻圖像；將所述視頻圖像發送給服務器；接收所述服務器反饋的文本信息；若滿足預設的觸發條件，則播報所述文本信息。本發明可以通過智能音箱實現任意書本的點讀功能，實現過程簡單，無需制作專門的點讀書本，擴展性強，使得點讀的書本內容更加豐富，用戶體驗佳。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種交互閱讀方法、裝置、系統及存儲介質。

背景技術

隨著多媒體技術的發展，具備語音問答功能的電子產品受到了越來越多兒童的喜愛。

目前，家長可以購買整套的點讀書和點讀筆來輔助兒童閱讀繪本。

但是，上述方式只能通過點讀筆和點讀書來實現輔助閱讀，而制作專門的點讀書，過程復雜，成本高；這也使得點讀書的內容有限，無法滿足用戶的需求，用戶體驗不佳。

發明內容

本發明提供一種交互閱讀方法、裝置、系統及存儲介質，可以通過智能音箱實現任意書本的點讀功能，實現過程簡單，無需制作專門的點讀書本，擴展性強，使得點讀的書本內容更加豐富，用戶體驗佳。

第一方面，本發明實施例提供一種交互閱讀方法，包括：

采集包含書本內容的視頻圖像；

將所述視頻圖像發送給服務器；

接收所述服務器反饋的文本信息；

若滿足預設的觸發條件，則播報所述文本信息。

在一種可能的設計中，在采集包含書本內容的視頻圖像之前，還包括：

接收用戶輸入的控制信息；

根據所述控制信息，開啟閱讀模式；所述閱讀模式是指開啟圖像采集器采集視頻圖像的模式。

在一種可能的設計中，若滿足預設的觸發條件，則播報所述文本信息，包括：

若在預設的時間段內接收到目標語音信息，或者目標按鍵信息，則播報所述預設時間段內接收到的所述文本信息。

在一種可能的設計中，還包括：

若在預設的時間段內未接收到目標語音信息，則清除所述預設時間段內接收到的所述文本信息。

第二方面，本發明實施例提供一種交互閱讀方法，包括：

接收語音裝置發送的視頻圖像；

通過預先加載的圖像識別模型識別所述視頻圖像，得到文本信息；

將所述文本信息反饋給所述語音裝置。

在一種可能的設計中，通過預先加載的圖像識別模型識別所述視頻圖像，得到文本信息，包括：

從所述視頻圖像中選取任一滿足清晰度要求的視頻幀；

從所述視頻幀中提取圖像特征，并將所述圖像特征輸入第一圖像識別模型；

若所述第一圖像識別模型輸出書名，則將所述圖像特征輸入第二圖像識別模型；

若所述第一圖像識別模型識別失敗，則重新接收視頻圖像；

若所述第二圖像識別模型輸出書本頁碼，則將所述圖像特征輸入第三圖像識別模型；

若所述第二圖像識別模型識別失敗，則重新接收視頻圖像；

若所述第三圖像識別模型輸出單根手指的位置，則將所述圖像特征輸入第四圖像識別模型；

若所述第三圖像識別模型識別失敗，則重新接收視頻圖像；