[發明專利]一種紙質教材的多媒體互動式學習系統及方法

在審

• 申請號: 201410421627.4
• 申請日: 2014-08-25
• 公開（公告）號: CN104166851A
• 公開（公告）日: 2014-11-26
• 發明（設計）人: 盛靜浩;王子文;許正平;喬佳
• 申請（專利權）人: 盛靜浩;王子文;許正平;喬佳
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06F3/0488;G09B5/06
• 代理公司: 北京金智普華知識產權代理有限公司 11401
• 代理人: 巴曉艷

1.一種紙質教材的多媒體互動式學習系統，其特征在于，所述系統包括：

圖像信息獲取單元，用于獲取紙質教材表面顯微放大的光學影像，獲得最初的數據源；

圖像處理模塊，對紙質書面教材中的所有需要展現多媒體的區域進行截圖并將圖像處理成識別圖；

圖像及多媒體數據庫，包括源圖數據庫、識別圖數據庫以及多媒體數據庫；

圖像圖像識別模塊，對將教材截圖處理成識別圖，并檢索數據庫中是否存在對應的識別圖，如果存在，則進行多媒體的素材匹配過程；如不存在，則取消匹配過程；

多媒體控制和交互模塊，用于對音頻、視頻素材以及三位模型進行操作和控制。

2.根據權利要求1所述的系統，其特征在于，所述圖像信息獲取單元為手機或者便捷式智能終端的攝像頭。

3.根據權利要求1所述的系統，其特征在于，所述將截圖處理成識別圖的步驟是：1）對紙質書面教材中的所有需要展現多媒體的區域進行截圖，設置截圖的長寬比率；2）對截圖進行灰度掃描，轉換成灰度圖片，并根據灰度圖上的明暗強弱識別出邊界；記錄灰度圖上邊界明顯的點，形成截圖的大體輪廓數據，由此形成識別圖。

4.根據權利要求1所述的系統，其特征在于，所述源圖數據庫用于保存所圖像信息獲取單元所獲取的紙質教材的源圖的截圖；所述識別圖數據庫用于建立整本教材的識別圖庫，并建立索引文件；所述多媒體數據庫用于保存多媒體素材源。

5.根據權利要求4所述的系統，其特征在于，多媒體素材源包括音頻、視頻以及三維模型圖，每個素材都對應有ＩＤ。

6.根據權利要求4所述的系統，其特征在于，所述用于對音頻、視頻素材以及三位模型進行操作和控制具體是：對于音頻、視頻素材會進行播放、停止、前進或者后退等操作，針對三維模型素材會進行三維展示的操作，所述三維展示的操作包括手勢控制、移動縮放旋轉、語音控制。

7.一種紙質教材的多媒體互動式學習制作方法，所述方法包括以下步驟：

1）紙質教材書面內容信息的識別；

2）多媒體素材庫的制作與生成；

3）?多媒體播放與展示。

8.根據權利要求7所述的系統，其特征在于，所述紙質教材書面內容信息的識別包括：

1)獲取紙質教材上的源圖并保存在數據庫中；

2）對源圖進行圖像處理并生成識別圖，包括：A)?紙質書面教材中的所有需要展現多媒體的區域的部分截圖，設置截圖的長寬比率；?B)?灰度掃描，根據教材截圖自動轉換成灰度圖片，并根據灰度圖上的明暗強弱識別出邊界；C)?記錄灰度圖上邊界“明顯”的點，形成截圖的大體輪廓數據，由此形成識別圖，識別圖可以根據截圖在真實世界中的實際寬度自動調整尺寸；D)?建立整本教材的識別圖庫，并建立索引文件；當用智能終端識別紙質教材上的內容時，會將教材截圖處理成識別圖，并檢索數據庫中是否存在對應的識別圖，如果存在，則進行素材匹配過程；如不存在，則取消匹配過程。

9.???根據權利要求7所述的系統，其特征在于，所述多媒體素材庫的制作與生成包括：通過錄制、配音、剪輯等方式制作聲音或者視頻；對于紙質教材中的一些場景、角色、模型等將采用三維動畫制作，還可以設置交互環節，給使用者帶來互動感；每一個素材都有自己的ID，并且對應數據庫中的每一個識別圖。

10.??根據權利要求7所述的系統，其特征在于，多媒體素材播放和展示的實現過程是：當識別圖識別成功后，如果是視頻或者音頻，則進行播放、暫停、前進或者后退等操作；如果是3D模型等素材，則會配合使用者在觸摸屏滑動的手勢識別，能進行旋轉、縮放、移動等操作，以及配合使用者的聲音，能實現互動；如果對應識別圖識別失敗或者源圖消失于攝像頭視口時，則結束相關多媒體素材展示。