[發(fā)明專利]一種用于視線跟蹤系統(tǒng)的雙路同步亮暗瞳圖像采集方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710037267.1
• 申請(qǐng)日: 2017-01-19
• 公開（公告）號(hào): CN107071267B
• 公開（公告）日: 2020-06-23
• 發(fā)明（設(shè)計(jì)）人: 譚雅翔;彭弘銘;王軍寧;王松;張嘉佳;龔小滿
• 申請(qǐng)（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號(hào): H04N5/232
• 分類號(hào): H04N5/232;H04N5/235
• 代理公司: 西安長(zhǎng)和專利代理有限公司 61227
• 代理人: 黃偉洪

本發(fā)明公開了一種用于視線跟蹤系統(tǒng)的雙路同步亮暗瞳圖像采集方法，通過共享時(shí)鐘、同時(shí)啟動(dòng)、硬件觸發(fā)粗同步圖像傳感器；通過計(jì)數(shù)補(bǔ)償算法對(duì)傳感器的行場(chǎng)同步信號(hào)進(jìn)行濾波，消除丟幀；使用FIFO同步模塊對(duì)兩路數(shù)據(jù)進(jìn)行輔助同步；使用組幀算法實(shí)現(xiàn)亮暗瞳圖像任一丟幀以及雙路圖像打包；采用硬件觸發(fā)和軟件FIFO兩次同步。本發(fā)明通過共享時(shí)鐘、同時(shí)啟動(dòng)、硬件觸發(fā)等技術(shù)粗同步圖像傳感器；通過計(jì)數(shù)補(bǔ)償算法對(duì)傳感器的行場(chǎng)同步信號(hào)進(jìn)行濾波，消除由于惡劣電氣環(huán)境導(dǎo)致的丟幀；使用FIFO同步模塊對(duì)兩路數(shù)據(jù)進(jìn)行輔助同步，解決低成本采集設(shè)備硬件同步不精確的問題；使用組幀算法解決亮暗瞳圖像任一丟幀以及雙路圖像打包的問題。

技術(shù)領(lǐng)域

本發(fā)明屬于視線跟蹤技術(shù)領(lǐng)域，尤其涉及一種用于視線跟蹤系統(tǒng)的雙路同步亮暗瞳圖像采集方法。

背景技術(shù)

視線跟蹤技術(shù)是一種通過分析眼圖來對(duì)眼睛實(shí)際注視點(diǎn)位置進(jìn)行估計(jì)的技術(shù)，廣泛運(yùn)用于人機(jī)交互、心理學(xué)研究以及商業(yè)等領(lǐng)域。從19世紀(jì)開始，人們就開始對(duì)眼睛運(yùn)動(dòng)的測(cè)量和實(shí)現(xiàn)跟蹤進(jìn)行研究。20世紀(jì)60年代之后，隨著微電子技術(shù)、攝像技術(shù)和紅外技術(shù)的發(fā)展，人們得以利用更加先進(jìn)的儀器進(jìn)行眼動(dòng)測(cè)量，推動(dòng)了視線跟蹤技術(shù)的發(fā)展。一般而言，視線跟蹤技術(shù)可以分為眼圖提取和視線估計(jì)兩大部分，而眼圖提取的速度則直接決定了視線跟蹤技術(shù)的實(shí)時(shí)性、準(zhǔn)確性與實(shí)用性。總體上，眼圖提取方法分為基于形狀的方法、基于特征的方法和基于外觀的方法等，然而這些方法都有提取速度慢、精度不高的缺點(diǎn)。而基于近紅外光的亮暗瞳孔檢測(cè)技術(shù)克服了這些缺點(diǎn)，大大提高了視線跟蹤技術(shù)的實(shí)時(shí)性。當(dāng)利用靠近相機(jī)光軸的近紅外光照射人的瞳孔，相機(jī)捕獲的圖像 (亮瞳圖像)中瞳孔會(huì)變亮，產(chǎn)生“紅眼”現(xiàn)象；而使用遠(yuǎn)離光軸的近紅外光照射人的瞳孔時(shí)，相機(jī)捕獲的圖像(暗瞳圖像)中瞳孔不會(huì)變亮。如果兩幅圖像中人眼的位置不發(fā)生變化，那么就可以利用二值化后的亮暗瞳圖像差分快速計(jì)算瞳孔的位置，這就是亮暗瞳瞳孔檢測(cè)技術(shù)。然而，亮暗瞳瞳孔檢測(cè)技術(shù)對(duì)圖像采集設(shè)備提出了較高的要求：一、近紅外光源的控制。亮暗瞳技術(shù)中，每路相機(jī)需要兩種光源，亮瞳燈和暗瞳燈，隨著相機(jī)的圖像捕獲過程交替變化。二、高幀率圖像捕獲。亮暗瞳技術(shù)需要高幀率的圖像捕獲設(shè)備來減少亮暗瞳兩幀圖像中人眼的位置變化，進(jìn)而提高瞳孔提取的準(zhǔn)確性。三、不能隨意丟幀。亮暗瞳兩幀圖像任何一幀丟失，就意味著剩下的一幀也沒有了作用，保留剩下的一幀反而會(huì)破壞后續(xù)運(yùn)算。四、雙路同步采集與高分辨率的圖像。一方面亮暗瞳技術(shù)需要高分辨率的圖像來提高提取精度，而高分辨率圖像會(huì)減少相機(jī)視角，因此需要兩路同步圖像對(duì)視角進(jìn)行補(bǔ)償。另一方面，同步雙路圖像可以為視線跟蹤系統(tǒng)提供立體視覺，降低標(biāo)定難度，提高視線估計(jì)的準(zhǔn)確性。而現(xiàn)有的多路圖像視線跟蹤系統(tǒng)，大致可分為三類：一、使用成品攝像頭，不進(jìn)行同步，依賴PC機(jī)的“同時(shí)捕獲”獲取圖像。這種方法同步效果最差，且成品攝像頭亮暗瞳光源完全依賴計(jì)數(shù)控制，調(diào)試難度大，容易串?dāng)_，存在大量亮暗瞳任一丟幀現(xiàn)象，因此實(shí)際有效幀少。二、使用低端圖像傳感器，通過FPGA軟件同步。同步效果差，且不能很好的解決丟幀問題。三、使用高端傳感器，通過硬件進(jìn)行同步。價(jià)格高昂，便攜性差。

綜上所述，現(xiàn)有的多路圖像視線跟蹤系統(tǒng)存在調(diào)試難度大，容易串?dāng)_，實(shí)際有效幀少；同步效果差；價(jià)格高昂，便攜性差。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種用于視線跟蹤系統(tǒng)的雙路同步亮暗瞳圖像采集方法，旨在解決現(xiàn)有的多路圖像視線跟蹤系統(tǒng)存在調(diào)試難度大，容易串?dāng)_，實(shí)際有效幀少；同步效果差；價(jià)格高昂，便攜性差的問題。

本發(fā)明是這樣實(shí)現(xiàn)的，一種用于視線跟蹤系統(tǒng)的雙路同步亮暗瞳圖像采集方法，所述用于視線跟蹤系統(tǒng)的雙路同步亮暗瞳圖像采集方法通過共享時(shí)鐘、同時(shí)啟動(dòng)、硬件觸發(fā)粗同步圖像傳感器；通過計(jì)數(shù)補(bǔ)償算法對(duì)傳感器的行場(chǎng)同步信號(hào)進(jìn)行濾波，消除丟幀；使用FIFO同步模塊對(duì)兩路數(shù)據(jù)進(jìn)行輔助同步；使用組幀算法實(shí)現(xiàn)亮暗瞳圖像任一丟幀以及雙路圖像打包；采用硬件觸發(fā)和軟件 FIFO兩次同步。

計(jì)數(shù)補(bǔ)償算法通過對(duì)行場(chǎng)同步信號(hào)進(jìn)行時(shí)鐘計(jì)數(shù)，在觀察到信號(hào)變換時(shí)通過與閾值的比較來判斷當(dāng)前信號(hào)的變化是否是信號(hào)抖動(dòng)，并在線修改、補(bǔ)償行場(chǎng)同步信號(hào)的算法。