[發明專利]一種基于眼球驅動與控制的早教圖畫交互系統

在審

• 申請號: 202010185568.0
• 申請日: 2020-03-17
• 公開（公告）號: CN111399648A
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 陸永華;陳加徐;王旦;劉冠誠;梁立鵬;趙采儀
• 申請（專利權）人: 南京航空航天大學;南京航空航天大學無錫研究院
• 主分類號: G06F3/01
• 分類號: G06F3/01;G09B5/06
• 代理公司: 上海宣宜專利代理事務所(普通合伙) 31288
• 代理人: 鄒蕾

本發明公開了一種基于眼球驅動與控制的早教圖畫交互系統，包括早教圖畫交互系統本體，所述的早教圖畫交互系統本體包括屏幕、控制器、揚聲器以及安裝在屏幕中央的攝像頭，所述的屏幕、控制器、揚聲器以及攝像頭之間信號連接。本發明具備用戶僅通過眼球注視屏幕指定區域便可實現各種動植物、漢字英文等的發聲的優點，解決了現有技術中，早教圖畫交互系統所有的發音均需要通過用戶點擊來完成的問題，使早教系統擺脫了雙手的束縛，實現了用戶通過眼球即可自主控制早教系統完成各種動、植物、中英文等的發音，更具趣味性。

技術領域

本發明涉及早教圖畫交互系統技術領域，具體為一種基于眼球驅動與控制的早教圖畫交互系統。

背景技術

隨著社會的發展與進步，人們對嬰幼兒早期教育重視的程度越來越高，有關0-3歲嬰幼兒發展與教育的研究日益增多。同時，社會上涌現了一大批早教圖畫電子產品，這些產品大多都是采用點讀的方式，用戶通過點擊圖畫上指定區域，產品發出聲音，完成嬰幼兒對字母、動物等事物的認知，建立起抽象圖像與實際事物之間的聯系，幫助幼兒更快地發聲，認識這個世界。

目前，人工智能技術是一大熱門，該技術已經應用在很多領域，使人類從雙手中解放出來。將該技術與早教系統結合起來，同樣可以解放嬰幼兒的雙手，另外這個認知、學習的過程將會變得更有趣、更輕松，將會使早教圖畫交互系統進入全新的發展階段。

發明內容

本發明的目的在于提供一種基于眼球驅動與控制的早教圖畫交互系統，具備用戶僅通過眼球注視屏幕指定區域便可實現各種動植物、漢字英文等的發聲的優點，解決了現有技術中，早教圖畫交互系統所有的發音均需要通過用戶點擊來完成的問題。

為實現上述目的，本發明提供如下技術方案：一種基于眼球驅動與控制的早教圖畫交互系統，包括早教圖畫交互系統本體，所述的早教圖畫交互系統本體包括屏幕、控制器、揚聲器以及安裝在屏幕中央的攝像頭，所述的屏幕、控制器、揚聲器以及攝像頭之間信號連接。

優選的，所述的攝像頭用于實時采集嬰幼兒人臉圖像，所述的屏幕用于產生標定需要的坐標點和早教圖畫，所述的控制器用于實時檢測用戶眼球的眼部特征參數、計算用戶注視屏幕坐標點、向揚聲器發送指令，所述揚聲器用于接收控制器發送的指令，進行發聲。

本發明還提供一種基于眼球驅動與控制的早教圖畫交互系統的使用方法，其特征在于：包括如下步驟：

第一步，用戶移動到屏幕面前，使得臉部處于屏幕中央與攝像頭位置相對；

第二步，啟動系統，在屏幕的顯示區依次產生標定點，攝像頭分別采集用戶注視指定標定點的人臉圖像；

第三步，控制器計算所有標定圖片中的虹膜中心和眼角，構造眼部特征信息，確定用戶眼部特征信息與屏幕顯示區物理坐標之間的映射關系；

第四步，標定完畢后，在屏幕的顯示區就會出現等分塊的功能區域，各等分塊的區域用于顯示相應的早教圖畫；

第五步，攝像頭會實時采集用戶人臉圖像傳入控制器中，控制器實時定位每幀圖像中的虹膜中心和眼角位置，根據標定確定的映射模型實時計算用戶眼球注視的屏幕坐標，根據注視點屏幕坐標的范圍判斷用戶正在觀看哪一等分塊的早教圖畫；

第六步，控制器發送指令給揚聲器，揚聲器發出用戶正在注視的早教圖畫的設定聲音。

優選的，所述的屏幕豎直固定。

優選的，所述用戶可站姿或坐姿使用。

優選的，所述的第六步中，使揚聲器發出用戶正在注視的早教圖畫的中英文發音。

與現有技術相比，本發明的有益效果如下：