[發明專利]一種眼球識別多媒體播放器及其實現方法

有效

• 申請號: 201710170304.6
• 申請日: 2017-03-21
• 公開（公告）號: CN106990839B
• 公開（公告）日: 2020-06-05
• 發明（設計）人: 張文慶;李鑒修
• 申請（專利權）人: 張文慶;李鑒修
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/0487;G06K9/00
• 代理公司: 濟南舜源專利事務所有限公司 37205
• 代理人: 程靜靜;李艷

1.一種眼球識別多媒體播放器的實現方法，其特征在于：所述眼球識別多媒體播放器，包括顯示器、半透鏡、攝像頭，所述顯示器與半透鏡相結合，采用木質結構固定半透鏡緊貼在顯示器前方，半透鏡貼有單向透視反光薄膜，顯示器通過USB接口連接攝像頭；

所述實現方法是利用開源的人臉、人眼庫，運用LBP算法、Haar算法進行機器學習，生成能夠使用的LBP正臉識別分類器和Haar左右眼識別分類器，利用LBP正臉識別分類器和Haar左右眼識別分類器來實現多媒體播放器的眼球識別功能；

所述播放器的實現方法包括以下具體步驟：

步驟S2，輸入由攝像頭獲得的分辨率600*800的RGB人臉圖像；

步驟S3，計算輸入圖像的灰度圖，將輸入的RGB圖像轉換為灰度圖像，提取輸入圖像矩陣中的綠色通道像素信息作為灰度圖像GrayImg的初始值；

步驟S4，檢測灰度圖像寬度為320，灰度圖像的放縮比例為800/灰度圖像寬度, 灰度圖像高度為600/灰度圖像的放縮比例，將灰度圖像GrayImg按比例進行縮放，縮放后的灰度圖像的分辨率為240*320；

步驟S5，將灰度圖像GrayImg進行直方圖均勻化處理，獲得預處理的人臉圖像Preprocessed Image，需要對圖像進行雙邊濾波；

步驟S6，設置檢測參數：最小特征尺度minfeatureSize=Size(30,30)、檢測范圍因子searchScaleFactor=1.1f、最小臨近因子minneighbors=4、檢測方式標識位fiag=CASCADE_FIND_BIGGEST_OBJECT︱CASCADE_DO_ROUGH_SEARCH，使得檢測結果為所檢測到目標中最大的；加載提前訓練好的LBP人臉檢測器，步驟S2-S5預處理過后的圖像中獲取到目標人臉Target Face的位置信息（x,y,width,height）；

步驟S8，對目標人臉Target Face按照計算比例進行坐標逆向變換，計算變化過后的x、y坐標及width、height，在原始圖中將人臉圖像儲存在新的內存區域中；

步驟S9，根據坐標變換后得到的目標人臉信息Target Face，在原輸入圖像中提取人臉信息儲存為人臉圖像Face Image；

步驟S10，提取輸入圖像矩陣中的綠色通道像素信息作為人臉圖像Face Image的灰度圖像初始值，將人臉圖像Face Image的灰度圖像進行直方圖均勻化處理，計算人臉圖像Face Image的灰度圖獲得預處理的人臉圖像preprocessed Face；

步驟S11，初始化參數EYE_SX = 0.16；EYE_SY = 0.26；EYE_SW = 0.30；EYE_SH =0.28，即初始化人眼位置估計比例：X、Y坐標、寬度、高度，在預處理的人臉圖像preprocessed Face計算人眼位置：X、Y坐標、寬度、高度、leftx、topy、widthx、heighty、rightx，從預處理的人臉圖像preprocessed Face中提取左眼和右眼的預估計圖像；

步驟S12，利用訓練好的Haar人眼檢測器分別對左眼和右眼中預估圖像來檢測右眼和左眼，得到人眼具體的位置大小信息；

步驟S14，初始化LXmoveLen、LYmoveLen、RXmoveLen、RYmoveLen，即初始化人眼位置修正尺度：左右眼X、Y坐標移動尺度，對步驟S11中變換后的坐標進行逆向變換，計算左眼、右眼在原圖中的x、y坐標和寬度、高度；

步驟S15，根據步驟S14所得信息在原圖中獲取準確的左眼、右眼的圖像，對左眼、右眼圖像進行縮放成80*100像素圖像；

步驟S16，對左眼、右眼的圖像進行雙邊濾波并轉化為灰度圖像，并用Canny算子對灰度圖進行邊緣檢測；

步驟S17，初始化眼眶邊緣itc1，使眼眶邊緣itc1成為眼眶邊緣集合中的第一個邊緣，眼眶邊緣集合是由眼眶邊緣線上的點的坐標組成的集合；

步驟S18，對眼眶邊緣itc1進行矩形擬合，得到能夠包含邊緣信息的最小矩陣，得到矩陣的x，y坐標和width，height信息；

步驟S19，計算出擬合最小矩陣的中心坐標，判斷矩形是否滿足眼眶的預估計位置，若是滿足則將眼眶邊緣itc1添加到Eye Edge集合；

步驟S20，將眼眶邊緣itc1添加到Eye Edge集合；

步驟S21，判斷眼眶邊緣itc1是否為眼眶邊緣集合中最后一條未檢測的邊緣；

步驟S22，賦值眼眶邊緣itc1，令眼眶邊緣itc1=眼眶邊緣集合中下一條未檢測眼眶邊緣；

步驟S23， 判斷Eye Edge集合是否為空；

步驟S24，對Eye Edge集合擬合最小矩形得到矩形眼眶信息rect；

步驟S25，對左眼、右眼的圖像進行雙邊濾波并轉化為灰度圖像，設置閥值為24，即threshold(24,THRESH_BINARY)，對圖像雙邊濾波轉化過來的灰度圖進行二值化運算，設置算子大小為（9，9）對二值化運算之后得到的圖像進行形態學閉運算，設置閥值為1對形態學閉運算之后的圖像進行二值化運算，進行邊緣檢測；

步驟S26，初始化虹膜邊緣itc2，使得虹膜邊緣itc2為虹膜邊緣集合中的第一個邊緣，虹膜邊緣集合是由虹膜邊緣線上的點的坐標組成的集合；

步驟S27，對虹膜邊緣itc2進行圓形擬合，得到能夠包含邊緣信息的最小圓形，得到圓形的圓心、半徑信息；

步驟S28，檢測圓形圓心半徑是否符合人眼虹膜；

步驟S29，將圓形的圓心和半徑添加到List集合，List是自定義的一個列表，專門用來存儲圓心和半徑；

步驟S30，判斷虹膜邊緣itc2是否為虹膜邊緣集合中最后一條未檢測邊緣；

步驟S31，賦值虹膜邊緣itc2，使得虹膜邊緣itc2等于虹膜邊緣集合中下一條未檢測虹膜邊緣；

步驟S32，判斷列表list是否為空；

步驟S33，從列表list中過濾出最大的虹膜半徑及對應的圓心，得到虹膜半徑、虹膜中心；

步驟S34，輸出眼眶、虹膜半徑、虹膜中心；

步驟S35，進行動作匹配、錯誤信息過濾、誤操作過濾；

步驟S36，輸出動作信號，完成后進入UI界面。