[發(fā)明專利]一種便攜式多模態(tài)學習分析智能眼鏡

有效

• 申請?zhí)枺?/td>: 202011247103.X
• 申請日: 2020-11-10
• 公開（公告）號: CN112419808B
• 公開（公告）日: 2021-11-02
• 發(fā)明（設(shè)計）人: 歐陽璠;焦鵬程
• 申請（專利權(quán)）人: 浙江大學
• 主分類號: G09B5/12
• 分類號: G09B5/12;G06K9/00
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 劉靜

1.一種便攜式多模態(tài)學習分析智能眼鏡，其特征在于，該智能眼鏡由鏡架模塊（1）、智能屏幕模塊（2）、眼鏡載體模塊（3）組成；并利用多模態(tài)學習分析方法實時捕捉和分析學習者用戶產(chǎn)生的多模態(tài)數(shù)據(jù)，并將可視化分析結(jié)果反饋給用戶；

所述的鏡架模塊（1）包括前倉（4）、移動倉（5）和后倉（6）；所述的前倉（4）外部設(shè)置有音頻裝置（401）和芯片模塊（408），內(nèi)部設(shè)置有陀螺儀模塊（407），音頻裝置（401）提供語音識別功能，通過音頻裝置（401）將語言數(shù)據(jù)實時轉(zhuǎn)化為文本，通過陀螺儀模塊（407）來實現(xiàn)頭部運動的監(jiān)測；芯片模塊（408）提供數(shù)據(jù)分析功能，實時讀取學生數(shù)據(jù)進行分析，并將數(shù)據(jù)存入預設(shè)的數(shù)據(jù)結(jié)構(gòu)中；

所述的前倉（4）外部還設(shè)置有充電接口（402）、開關(guān)（403）和無線傳輸器（404）；內(nèi)部還設(shè)置有微型激光限位開關(guān)（405）、微型齒輪（406）、芯片模塊（408）、排線（409）、電池（410）和微型齒條（411），所述微型激光限位開關(guān)（405）、微型齒輪（406）、芯片模塊（408）、排線（409）、電池（410）和微型齒條（411）依次安裝在前倉（4）上；電池（410）通過排線（409）與充電接口（402）、開關(guān)（403）連接，并為整個眼鏡供電，無線傳輸器（404）與芯片模塊（408）連接；同時，微型激光限位開關(guān)（405）與微型齒輪（406）連接，微型齒輪（406）與微型齒條（411）配合，微型齒條（411）與移動倉（5）連接，微型激光限位開關(guān)（405）通過掃描移動倉（5）的運動，進而約束移動倉（5）的前后位置極限；

所述的移動倉（5）設(shè)置有垂直向下底座攝像頭（501）、滾軸（502）、柔性屏幕（503）、出口槽（504）和柔性屏導軌（505）；其中，通過垂向下底座攝像頭（501）實現(xiàn)監(jiān)測眼球運動和面部表情功能；滾軸（502）與柔性屏幕（503）轉(zhuǎn)動連接，柔性屏幕（503）通過柔性屏導軌（505）與鏡架模塊（1）連接，柔性屏幕（503）可延柔性屏導軌（505）從鏡架模塊（1）的出口槽（504）處滑出；

智能眼鏡將數(shù)據(jù)讀取和分析功能的處理結(jié)果可視化，以多種可視化圖形的方式通過柔性屏幕（503）反饋給學生，具體為：語音識別和分析結(jié)果通過結(jié)巴分詞算法提取關(guān)鍵詞，利用關(guān)鍵詞聚類可視化圖形方式展示學習者談話特征；頭部運動分析結(jié)果可展示學習者當前的抬頭、低頭或轉(zhuǎn)頭動作，并將相關(guān)頻率反饋給學習者；

所述的后倉（6）設(shè)置在鏡架模塊（1）外部，后倉（6）上安裝有生理指標傳感器（602）；通過生理指標傳感器（602）來實現(xiàn)對生理指標的監(jiān)測。

2.如權(quán)利要求1所述的一種便攜式多模態(tài)學習分析智能眼鏡，其特征在于，所述的鏡架模塊（1）、智能屏幕模塊（2）和眼鏡載體模塊（3）通過設(shè)置在鏡架內(nèi)的線路連接，且前倉（4）中設(shè)置芯片模塊（408）以處理實時采集的體征數(shù)據(jù)。

3.如權(quán)利要求1所述的一種便攜式多模態(tài)學習分析智能眼鏡，其特征在于，所述的后倉（6）還設(shè)置有夾具（601）、無線耳機（603）、耳掛（604）和掛環(huán)（605）；所述夾具（601）夾在智能眼鏡的鏡腿上，并通過耳掛（604）和掛環(huán)（605）固定在佩戴者的耳朵上，通過無線耳機（603）接收語音信息。

4.如權(quán)利要求1所述的一種便攜式多模態(tài)學習分析智能眼鏡，其特征在于，所述音頻裝置（401）將語言數(shù)據(jù)實時轉(zhuǎn)化為文本是利用自然語言處理技術(shù)對語音內(nèi)容進行分析與編碼。

5.如權(quán)利要求1所述的一種便攜式多模態(tài)學習分析智能眼鏡，其特征在于，柔性屏幕（503）既可用以日常輔助視力，也可及時顯示芯片模塊（408）處理的結(jié)果，實現(xiàn)顯示屏的功能。

6.如權(quán)利要求1所述的一種便攜式多模態(tài)學習分析智能眼鏡，其特征在于，底座攝像頭（501）對面部表情進行識別，通過芯片模塊（408）分析結(jié)果，進而通過文字方式展示學習者當前心理情緒特征；所述面部表情的識別分析結(jié)果包括學習者專注、愉悅、困惑不同心理狀態(tài)；底座攝像頭（501）監(jiān)測到的眼球運動結(jié)果展示學習者當前關(guān)注的學習對象，并將關(guān)注時長、對象、眼球運動次數(shù)結(jié)果反饋給學習者。