[發明專利]基于視線估計的多屏場景下鼠標快速控制方法、系統及計算機可讀介質

有效

• 申請號: 202011553957.0
• 申請日: 2020-12-24
• 公開（公告）號: CN112667078B
• 公開（公告）日: 2023-06-09
• 發明（設計）人: 朱光明;張亮;馮明濤;魯特剛;宋娟;沈沛意
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/038;G06F3/0354;G06T7/73;G06T3/00;G06V40/16;G06V10/764;G06V10/82;G06V40/18;G06N3/045;G06N3/08
• 代理公司: 西安知誠思邁知識產權代理事務所(普通合伙) 61237
• 代理人: 麥春明

本發明公開了基于視線估計的多屏場景下鼠標快速控制方法、系統及計算機可讀介質，方法包括圖像采集、圖像處理、讀取坐標位置、控制鼠標動作的步驟；其中圖像處理包括人臉檢測、面部特征點定位、頭部姿態估計、三維視線估計、坐標轉化、設置置信度閾值的步驟。本發明基于視線估計的多屏場景下鼠標快速控制方法、系統及計算機可讀介質，可以有效解決在大屏或跨多屏瀏覽信息時的鼠標跟隨問題，尤其是在多個大屏幕擴展的工作場景下使人機交互更為便捷，控制鼠標在多屏間大范圍快速移動，然后人手可以控制鼠標做小范圍的精細控制，通過手眼配合，達到在多屏間對鼠標快速、自然、高效地控制。

技術領域

本發明屬于眼控鼠標與人機交互技術領域，涉及基于視線估計的多屏場景下鼠標快速控制方法、系統及計算機可讀介質。

背景技術

當前計算機技術及多媒體技術發展迅速，為獲取信息及人機交互提供了便利條件。但隨著計算機及多媒體的屏幕尺寸增大及數量增多，傳統單手操作鼠標進行人機交互的方式效率明顯下降，不能完全滿足人機交互需求，因此探索自然、高效、智能化的人機交互方式已成為計算機研究領域的重要議題之一。

在人機交互領域中，人眼作為重要的信息交互通道，備受關注。人眼視線反應了用戶的注意方向和關注意圖。將視線應用于人機交互領域具有自然、直接和無接觸交互等特點，因此，如何實現利用人眼視線方向控制鼠標光標在屏幕內快速準確地移動到相應的人眼注視點或注視區域內，以大幅提高大/多屏人機交互操作的效率，是亟需解決的技術問題。

然而，目前針對眼控鼠標技術的研究還相對較少，較多數方法都是通過借助眼鏡、頭盔等特殊穿戴設備來實現眼控鼠標功能，成本高且支持生態差，盡管存在部分通過對人眼特征進行檢測定位而達到控制鼠標目的的技術(如已知有一種基于Kinect相機與深度信息的眼控方法)，但在隨著屏幕尺寸不斷增大的多屏場景下，人眼眼球引起的視線變化范圍有限，僅依靠人眼特征很難解決大范圍跨屏的鼠標跟隨技術，并且人眼結構復雜，物理建模難度較高，目前人眼視線估計主要通過神經網絡預測得到，魯棒性較低，因此，目前針對眼控鼠標技術的研究的準確性和效率均較低。

針對上述問題，本發明旨在提出一種針對大屏及多屏場景下的眼控鼠標控制方法、系統及計算機可讀介質，基于頭部姿態變化能引起人眼視線明顯變化的思路，不依賴特殊設備，使用普通相機即可實現，通過嚴謹的幾何數學模型關系從2D圖像序列信息中即可得到注視點估計坐標，從而控制鼠標跟隨視線快速準確移動。

發明內容

為了達到上述目的，本發明提供基于視線估計的多屏場景下鼠標快速控制方法、系統及計算機可讀介質，可以有效解決在大屏或跨多屏瀏覽信息時的鼠標跟隨問題，尤其是在多個大屏幕擴展的工作場景下使人機交互更為便捷，控制鼠標在多屏間大范圍快速移動，然后人手可以控制鼠標做小范圍的精細控制，通過手眼配合，達到在多屏間對鼠標快速、自然、高效地控制，解決了現有技術中存在的眼控鼠標技術的研究的準確性和效率較低的問題。

本發明所采用的技術方案是，基于視線估計的多屏場景下鼠標快速控制方法，包括以下步驟：

圖像采集：多個相機多角度實時拍攝屏幕前操作人物的圖像，產生當前時刻的人物圖像信息，采集各個時刻的人物圖像信息；

圖像處理，包括人臉檢測、特征點檢測、頭部姿態估計、三維視線估計、坐標轉化、設置置信度閾值：

人臉檢測：將采集的各個時刻的人臉多角度的圖像序列輸入至深度級聯神經網絡模型中進行特征提取，然后進行人臉分類和人臉候選框篩選，輸出最終位置的人臉框；

特征點檢測：通過人臉約束模型對輸出的最終位置的人臉框中的特征點進行檢測，標注出最終位置的人臉框中的人臉二維特征關鍵點，實現二維人臉關鍵點定位；

頭部姿態估計：根據輸出的最終位置的人臉框中的人臉二維特征關鍵點反向投影到三維人臉模型，獲得人臉三維特征關鍵點，將人臉三維特征關鍵點轉換到圖像坐標系的平移矩陣以及旋轉矩陣，進而得到頭部姿態歐拉角，實現頭部姿態估計；