[發(fā)明專利]基于眼部圖像識別弱視的方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201910344151.1
• 申請日: 2019-04-26
• 公開（公告）號: CN110111316B
• 公開（公告）日: 2023-07-18
• 發(fā)明（設(shè)計(jì)）人: 程良倫;謝靚茹;胡可;黃國恒
• 申請（專利權(quán)）人: 廣東工業(yè)大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/0464;G06N3/084;G16H50/20
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 羅滿

本發(fā)明公開了一種基于眼部圖像識別弱視的方法及系統(tǒng)，從獲取的臉部圖像中獲取眼部區(qū)域圖像；使用第一卷積神經(jīng)網(wǎng)絡(luò)對眼部區(qū)域圖像提取特征，運(yùn)算出眼部位置，使用第二卷積神經(jīng)網(wǎng)絡(luò)對眼部區(qū)域圖像提取特征，得到特征圖，并根據(jù)得到的眼部位置從特征圖中獲取眼部特征；對獲得的眼部特征進(jìn)行反卷積處理，使用第三卷積神經(jīng)網(wǎng)絡(luò)對反卷積處理得到的圖像提取特征，運(yùn)算出瞳孔位置，使用第四卷積神經(jīng)網(wǎng)絡(luò)對反卷積處理得到的圖像提取特征，得到該圖像的特征圖，并根據(jù)得到的瞳孔位置從該圖像中獲取瞳孔特征；根據(jù)獲得的瞳孔特征運(yùn)算出眼部是否有弱視問題的結(jié)果。本發(fā)明方法及系統(tǒng)從臉部圖像中提取出眼部瞳孔特征，根據(jù)眼部瞳孔特征判斷眼部是否有弱視問題。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺技術(shù)領(lǐng)域，特別是涉及一種基于眼部圖像識別弱視的方法及系統(tǒng)。

背景技術(shù)

弱視是指視覺發(fā)育期內(nèi)由于單眼斜視、屈光參差、高度屈光不正以及形覺剝奪等異常視覺經(jīng)驗(yàn)，而導(dǎo)致單眼或者雙眼最佳矯正視力低于相應(yīng)年齡正常兒童的眼部問題，弱視不同于近視、遠(yuǎn)視或者散光等眼部疾病，存在弱視問題眼球沒有明顯的器質(zhì)性病變，是一種難以判斷的眼部疾病。鑒于此，提出一種能夠識別眼部弱視的方法，就成為本領(lǐng)域技術(shù)人員需要考慮和解決的技術(shù)問題。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于眼部圖像識別弱視的方法及系統(tǒng)，實(shí)現(xiàn)了根據(jù)眼部圖像識別出弱視問題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

一種基于眼部圖像識別弱視的方法，包括：

從獲取的臉部圖像中獲取眼部區(qū)域圖像；

使用第一卷積神經(jīng)網(wǎng)絡(luò)對所述眼部區(qū)域圖像提取特征，運(yùn)算出眼部位置，使用第二卷積神經(jīng)網(wǎng)絡(luò)對所述眼部區(qū)域圖像提取特征，得到所述眼部區(qū)域圖像的特征圖，并根據(jù)得到的眼部位置從所述特征圖中獲取眼部特征；

對獲得的眼部特征進(jìn)行反卷積處理，使用第三卷積神經(jīng)網(wǎng)絡(luò)對反卷積處理得到的圖像提取特征，運(yùn)算出瞳孔位置，使用第四卷積神經(jīng)網(wǎng)絡(luò)對反卷積處理得到的圖像提取特征，得到該圖像的特征圖，并根據(jù)得到的瞳孔位置從該圖像中獲取瞳孔特征；

根據(jù)獲得的瞳孔特征運(yùn)算出眼部是否有弱視問題的結(jié)果。

優(yōu)選的，使用依次級聯(lián)的第五卷積神經(jīng)網(wǎng)絡(luò)、第六卷積神經(jīng)網(wǎng)絡(luò)和第七卷積神經(jīng)網(wǎng)絡(luò)對所述臉部圖像處理，從所述臉部圖像中獲取眼部區(qū)域圖像；

所述第五卷積神經(jīng)網(wǎng)絡(luò)用于對所述臉部圖像運(yùn)算處理，根據(jù)所述臉部圖像計(jì)算出一系列將臉部框出的邊界框以及一系列將眼部框出的邊界框；

所述第六卷積神經(jīng)網(wǎng)絡(luò)用于對所述臉部圖像運(yùn)算處理，根據(jù)所述第五卷積神經(jīng)網(wǎng)絡(luò)輸出的一系列將臉部框出的邊界框篩選出更準(zhǔn)確的將臉部框出的邊界框，根據(jù)所述第五卷積神經(jīng)網(wǎng)絡(luò)輸出的一系列將眼部框出的邊界框篩選出更準(zhǔn)確的將眼部框出的邊界框；

所述第七卷積神經(jīng)網(wǎng)絡(luò)用于對所述臉部圖像運(yùn)算處理，根據(jù)所述第六卷積神經(jīng)網(wǎng)絡(luò)輸出的一系列將臉部框出的邊界框篩選出更準(zhǔn)確的將臉部框出的邊界框，根據(jù)所述第六卷積神經(jīng)網(wǎng)絡(luò)輸出的一系列將眼部框出的邊界框篩選出更準(zhǔn)確的將眼部框出的邊界框。

優(yōu)選的，所述第五卷積神經(jīng)網(wǎng)絡(luò)具體用于根據(jù)邊界框的回歸值對獲得的邊界框進(jìn)行校準(zhǔn)，和/或使用非極大值抑制法合并重疊的邊界框；

所述第六卷積神經(jīng)網(wǎng)絡(luò)具體用于根據(jù)邊界框的回歸值對獲得的邊界框進(jìn)行校準(zhǔn)，和/或使用非極大值抑制法合并重疊的邊界框；

所述第七卷積神經(jīng)網(wǎng)絡(luò)具體用于根據(jù)邊界框的回歸值對獲得的邊界框進(jìn)行校準(zhǔn)，和/或使用非極大值抑制法合并重疊的邊界框。

優(yōu)選的，根據(jù)獲得的瞳孔特征運(yùn)算出眼部是否有弱視問題的結(jié)果包括：將獲得的瞳孔特征輸入到預(yù)先訓(xùn)練好的分類器內(nèi)，由所述分類器輸出眼部是否有弱視問題的結(jié)果。