[發明專利]一種點讀終端的音頻播放方法、裝置、點讀終端及介質

在審

• 申請號: 201911323090.7
• 申請日: 2019-12-20
• 公開（公告）號: CN113010699A
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 王玥;顧景;李揚;程駿;龐建新;熊友軍
• 申請（專利權）人: 深圳市優必選科技股份有限公司
• 主分類號: G06F16/432
• 分類號: G06F16/432;G06F16/438;G06F16/48;G06T7/73;G09B5/04;G09B5/06
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 李娟

1.一種點讀終端的音頻播放方法，其特征在于，包括：

獲取目標書籍的內頁圖像，并根據所述內頁圖像從本地數據庫中確定出相應的參考圖像和目標音頻集合；

基于所述內頁圖像和所述參考圖像構建單應矩陣；

將從所述內頁圖像中選取的目標圖像輸入已訓練好的位置預估模型，得到預估位置信息，并基于所述預估位置信息與所述單應矩陣，從所述參考圖像中確定出目標位置信息；

根據所述目標位置信息從所述目標音頻集合中確定出目標音頻文件；

播放所述目標音頻文件。

2.根據權利要求1所述點讀終端的音頻播放方法，其特征在于，所述基于所述內頁圖像和所述參考圖像構建單應矩陣，包括：

在所述內頁圖像中和所述參考圖像中分別構建相同的坐標系；

基于所述坐標系，分別從所述內頁圖像和所述參考圖像中確定出匹配的點對信息；

根據所述點對信息構建3×3的齊次矩陣H，并將所述齊次矩陣H識別為單應矩陣H。

3.根據權利要求2所述點讀終端的音頻播放方法，其特征在于，所述將從所述內頁圖像中選取的目標圖像輸入已訓練好的位置預估模型，得到預估位置信息，并基于所述預估位置信息與所述單應矩陣，從所述參考圖像中確定出目標位置信息，的步驟之前，還包括：

獲取樣本書籍的內頁樣本圖像，并基于所述內頁樣本圖像構建樣本圖像集合；其中，所述樣本圖像集合中的每張樣本圖像中均包含所述點讀終端的筆尖位置；

利用所述樣本圖像集合訓練預先構建的位置預估模型，得到已訓練好的位置預估模型。

4.根據權利要求3所述點讀終端的音頻播放方法，其特征在于，所述目標圖像中包含所述點讀終端的當前筆尖位置；

所述將從所述內頁圖像中選取的目標圖像輸入已訓練好的位置預估模型，得到預估位置信息，并基于所述預估位置信息與所述單應矩陣，從所述參考圖像中確定出目標位置信息，包括：

獲取從所述內頁圖像中選取的目標圖像；

將所述目標圖像輸入已訓練好的位置預估模型，通過所述已訓練好的位置預估模型根據所述目標圖像中所述點讀終端的當前筆尖位置得到預估位置信息；

基于所述預估位置信息與所述單應矩陣，從所述參考圖像中確定出目標位置信息。

5.根據權利要求4所述點讀終端的音頻播放方法，其特征在于，所述基于所述預估位置信息與所述單應矩陣，從所述參考圖像中確定出目標位置信息，包括：

通過以下公式測算得到目標位置信息；

其中，H為所述單應矩陣，(u1，v1，1)為所述預估位置信息，(u2，v2，1)為所述目標位置信息。

6.根據權利要求1至5任一項所述點讀終端的音頻播放方法，其特征在于，所述獲取目標書籍的內頁圖像的步驟之前，還包括：

采集目標書籍的封面圖像；

將所述封面圖像發送至服務器，并接收所述服務器根據所述封面圖像返回的目標書籍標識；

根據所述目標書籍標識從所述服務器中下載相應的目標文件集合；

將所述目標文件集合關聯存儲至本地數據庫中。

7.根據權利要求6所述點讀終端的音頻播放方法，其特征在于，所述采集目標書籍的封面圖像，包括：

當檢測到用于執行點讀功能的預設指令時，調用點讀終端的圖像采集組件實時采集圖像數據，得到圖像集合；

基于預設的第一圖像確定策略從所述圖像集合中確定出封面圖像；

所述獲取目標書籍的內頁圖像，包括：

基于預設的第二圖像確定策略從所述圖像集合中確定出所述目標書籍的內頁圖像。