[發明專利]使用機器學習對眼睛圖像進行校正的方法以及機器學習的方法

在審

• 申請號: 202210276561.9
• 申請日: 2016-03-03
• 公開（公告）號: CN114863544A
• 公開（公告）日: 2022-08-05
• 發明（設計）人: D·S·柯諾南科;V·S·蘭皮特斯基
• 申請（專利權）人: 高等教育自主非營利組織斯科爾科沃科學和技術研究所
• 主分類號: G06V40/18
• 分類號: G06V40/18;G06V10/56;G06V10/764;G06V10/70;G06K9/62;G06N20/00
• 代理公司: 北京嘉和天工知識產權代理事務所(普通合伙) 11269
• 代理人: 王維;嚴慎

1.一種用于計算裝置上的圖像增強的方法，所述方法包括：

接收描繪人臉的數字輸入圖像；

經由目光調整機器學習模型通過改變所述人臉上眼睛的目光方向從所述數字輸入圖像生成經目光調整的圖像，其中所述目光調整機器學習模型包括基于多個學習圖像對的預測器，所述多個學習圖像對不同之處在于目光方向；以及

輸出所述經目光調整的圖像。

2.如權利要求1所述的方法，其中所述預測器是單層或多層神經網絡。

3.如權利要求1所述的方法，其中所述預測器是至少一個決策樹或決策樹集合。

4.如權利要求1所述的方法，其中所述學習圖像對之間的目光方向相差在5至20度的范圍內的角度。

5.如權利要求1所述的方法，其中所述預測器生成取決于涉及眼睛的多個特性點的像素位置的固定位移矢量。

6.如權利要求1所述的方法，其中所述預測器基于包含同一人的視圖的多個學習圖像對。

7.如權利要求1所述的方法，其中對于所有的學習圖像對，學習對中的每個圖像中的目光方向的差異是相同的。

8.如權利要求1所述的方法，其中所述方法還包括從存儲所述預測器的信息介質加載所述預測器，所述信息介質包括下列中的一者：硬盤、固態驅動器、閃存、光學盤、混合驅動器、隨機存取存儲器(RAM)、遠程計算機系統和遠程數據存儲。

9.如權利要求1所述的方法，其中生成經目光調整的圖像的步驟包含識別所述數字輸入圖像中的多個界標。

10.如權利要求9所述的方法，其中所述生成經目光調整的圖像的步驟還包含基于所述多個界標生成二維位移矢量場，所述二維位移矢量場針對所述數字輸入圖像中的一個或更多個像素中的每個像素指示所述像素的位移矢量，以及根據所述二維位移矢量場，通過使所述數字輸入圖像中的所述一個或更多個像素移位來生成所述經目光調整的圖像。

11.如權利要求1所述的方法，其中所述預測器通過下列步驟獲得：

獲得多個學習圖像對，所述多個學習圖像對在每個圖像對中包含同一人的視圖，所述學習圖像對不同之處在于目光方向，并且其中對于所述學習圖像對，學習對中的每個圖像中的目光方向的差異是相同的；

確定所述學習圖像對中的每個中的眼睛的位置；以及

根據所述預測器的預測，通過將對中的第一圖像的每個像素的顏色分量取代成所述對中的所述第一圖像的另一像素的顏色分量來確定用于對每個學習圖像對產生調整位移矢量場的預測器，從而得到類似于所述對中的第二圖像的圖像。

12.如權利要求1所述的方法，其中所述數字輸入圖像是包含多個幀的視頻流中的一個幀。

13.一種計算裝置，所述計算裝置包括：

邏輯機器；以及

存儲機器，所述存儲機器保存可由所述邏輯機器執行的指令，以便：

接收描繪人眼的數字輸入圖像；

經由目光調整機器學習模型通過改變所述人眼的表觀目光方向從所述數字輸入圖像生成經目光調整的圖像，其中所述目光調整機器學習模型包括基于多個學習圖像對的預測器，所述多個學習圖像對不同之處在于目光方向；以及

輸出所述經目光調整的圖像。

14.如權利要求13所述的計算裝置，其中生成經目光調整的圖像的步驟包含基于所述數字輸入圖像中識別的多個界標生成二維位移矢量場，所述二維位移矢量場針對所述數字輸入圖像中的一個或更多個像素中的每個像素指示所述像素的位移矢量，以及根據所述二維位移矢量場，通過使所述數字輸入圖像中的所述一個或更多個像素移位來生成所述經目光調整的圖像。