[發(fā)明專利]使用機(jī)器學(xué)習(xí)對(duì)眼睛圖像進(jìn)行校正的方法以及機(jī)器學(xué)習(xí)的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210276561.9
• 申請(qǐng)日: 2016-03-03
• 公開(kāi)（公告）號(hào): CN114863544A
• 公開(kāi)（公告）日: 2022-08-05
• 發(fā)明（設(shè)計(jì)）人: D·S·柯諾南科;V·S·蘭皮特斯基
• 申請(qǐng)（專利權(quán)）人: 高等教育自主非營(yíng)利組織斯科爾科沃科學(xué)和技術(shù)研究所
• 主分類號(hào): G06V40/18
• 分類號(hào): G06V40/18;G06V10/56;G06V10/764;G06V10/70;G06K9/62;G06N20/00
• 代理公司: 北京嘉和天工知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11269
• 代理人: 王維;嚴(yán)慎

本發(fā)明涉及使用機(jī)器學(xué)習(xí)對(duì)眼睛圖像進(jìn)行校正的方法以及機(jī)器學(xué)習(xí)的方法。本發(fā)明涉及自動(dòng)化和計(jì)算技術(shù)，即，涉及處理圖像和視頻數(shù)據(jù)的領(lǐng)域，即，涉及以目光重定向?yàn)槟康膶?duì)視頻聊天、視頻會(huì)議中的對(duì)話者的眼睛圖像進(jìn)行校正。一種校正眼睛圖像的方法，其中該方法對(duì)人的臉至少獲得一幀，于是確定這個(gè)人的眼睛在圖像中的位置，并且形成緊密地包圍眼睛的兩個(gè)矩形區(qū)域，并且最后將眼睛區(qū)域中的每個(gè)像素的顏色分量取代成根據(jù)機(jī)器學(xué)習(xí)預(yù)測(cè)器的預(yù)測(cè)移位的像素的顏色分量。本發(fā)明的技術(shù)效果是以目光重定向?yàn)槟康牡难劬D像的校正精度提高，其中處理視頻圖像的過(guò)程所需的資源減少。

本申請(qǐng)是2016年03月03日遞交的PCT國(guó)際申請(qǐng)PCT/RU2016/000118于2017年11月17日進(jìn)入中國(guó)國(guó)家階段的中國(guó)專利申請(qǐng)?zhí)枮?01680028919.9、發(fā)明名稱為“使用機(jī)器學(xué)習(xí)對(duì)眼睛圖像進(jìn)行校正的方法以及機(jī)器學(xué)習(xí)的方法”的發(fā)明專利申請(qǐng)的分案申請(qǐng)。

技術(shù)領(lǐng)域

本組發(fā)明涉及自動(dòng)化和計(jì)算技術(shù)，一般地涉及處理圖像和視頻數(shù)據(jù)的領(lǐng)域，即，涉及校正視頻聊天、視頻會(huì)議的過(guò)程中的對(duì)話者的眼睛的圖像。

背景技術(shù)

目前，商業(yè)伙伴之間的視頻會(huì)議以及在國(guó)外給親戚打視頻電話變?yōu)槿粘０l(fā)生的事。特定軟件和硬件的選擇被與各方之間缺少視覺(jué)接觸有關(guān)的復(fù)雜性所阻礙。該問(wèn)題長(zhǎng)時(shí)間吸引了研究者和工程師，并且它是由捕捉視頻圖像的攝像頭的位置和臉在屏幕上的圖像之間的不可避免的差異引起的。

最成功的目前已知的解決方案需要額外的設(shè)備，除了網(wǎng)絡(luò)攝像頭之外，比如：半透明鏡/屏幕、立體攝像頭或RGB-D攝像頭。

在現(xiàn)有技術(shù)中已知申請(qǐng)人Ramot At Tel-Aviv University Ltd.的于2011年12月1日公布的專利申請(qǐng)WO2011148366“用于校正目光偏移的方法和系統(tǒng)(Method and systemfor correcting gaze offset)”。該方法包括以下步驟：對(duì)圖像進(jìn)行處理以便提取至少一個(gè)眼睛在該圖像上的位置；對(duì)該圖像進(jìn)行處理以用取代數(shù)據(jù)取代與每個(gè)眼睛的每個(gè)位置相關(guān)聯(lián)的影像數(shù)據(jù)；并且將所述校正后的圖像發(fā)送到顯示裝置。該給定方法的缺點(diǎn)是，首先，在視頻會(huì)議開(kāi)始之前必需對(duì)視頻會(huì)議的每個(gè)參與者預(yù)先記錄朝向攝像頭的目光的一組影像數(shù)據(jù)，第二，在視頻會(huì)議期間目光方向的不自然固定。

從現(xiàn)有技術(shù)還已知作者D.Giger、J.C.Bazin、a C.Kuster、T.Popa、M.Gross發(fā)表于Proceedings of IEEE ICME 2014(中國(guó)，成都，2014年7月14-18日)中的文章“用單個(gè)網(wǎng)絡(luò)攝像頭進(jìn)行目光校正(Gaze Correction with a Single Webcam)”。該指定方法包括：確定臉部特征點(diǎn)并且根據(jù)確定的臉部特征來(lái)匹配人頭的幾何模型，將圖像投影到調(diào)整后的模型的紋理，將模型旋轉(zhuǎn)到某個(gè)角度并且將轉(zhuǎn)動(dòng)的模型投影在圖像中，匹配模型圖像和源圖像。該給定方法的限制是：整體臉比例變形，必需預(yù)先記錄頭部的被屏蔽部分(例如，下巴)的紋理，并且需要圖形加速器來(lái)實(shí)現(xiàn)實(shí)時(shí)系統(tǒng)操作所必需的生產(chǎn)率。

發(fā)明內(nèi)容

給定的一組發(fā)明的目的是在視頻會(huì)議期間使用僅包括一個(gè)視頻記錄工具(視頻攝像頭)的裝置來(lái)校正對(duì)話者的眼睛的圖像。

給定發(fā)明的技術(shù)效果是，眼睛圖像的校正精度提高，同時(shí)減少了處理視頻幀的過(guò)程所需的資源。

該技術(shù)效果是由于(用于校正圖像中的目光方位的)預(yù)測(cè)器的機(jī)器學(xué)習(xí)方法而實(shí)現(xiàn)的，其中該方法首先獲得多個(gè)圖像對(duì)，在每對(duì)中包含同一個(gè)人的圖像，但是多個(gè)圖像對(duì)的不同之處僅在于目光方向，然后確定眼睛在每個(gè)圖像對(duì)中的位置，接著學(xué)習(xí)預(yù)測(cè)器，生成調(diào)整位移矢量場(chǎng)，以使得對(duì)于每個(gè)圖像對(duì)，將該對(duì)中的第一圖像的每個(gè)像素中的顏色分量取代成該對(duì)中的第一圖像的根據(jù)預(yù)測(cè)器的預(yù)測(cè)移位的另一像素的顏色分量，得到盡可能地類似于該對(duì)中的第二圖像的圖像，以及將預(yù)測(cè)器作為結(jié)果保存。

本發(fā)明提供了一種用于校正圖像中的目光方位的預(yù)測(cè)器的機(jī)器學(xué)習(xí)方法，其特征在于：