[發明專利]對圖像執行對象照明操縱的方法和裝置

在審

• 申請號: 201980044340.5
• 申請日: 2019-07-31
• 公開（公告）號: CN112384928A
• 公開（公告）日: 2021-02-19
• 發明（設計）人: 謝爾蓋·斯坦尼斯拉沃維奇·扎瓦利申;弗拉基米爾·根納季耶維奇·庫爾曼諾夫;阿爾捷姆·謝爾蓋耶維奇·米古金;伊萬·奧列戈維奇·卡拉查洛夫;阿列克謝·米哈伊洛維奇·格魯茲杰夫;德米特里·瓦列里耶維奇·波盧博特科;伊利亞·瓦西里耶維奇·庫里林
• 申請（專利權）人: 三星電子株式會社
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06T5/00
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 吳曉兵

提供了一種對第一圖像執行對象照明操縱操作的方法和照明操縱設備。該方法包括：接收第一圖像和光方向輸入；生成具有從第一圖像檢測到的第一對象的第二圖像；基于光方向確定第二圖像的第二對象照明；以及用第二對象照明替換第一圖像的第一對象照明。

技術領域

本公開涉及對圖像中對象的照明的操縱。更具體地，本公開涉及一種對圖像序列中的圖像執行對象照明操縱的方法以及實現該方法的用戶計算設備。

背景技術

圖1是示出根據相關技術的對圖像執行對象照明操縱的一般操作。

用于操縱圖像中的對象的照明的方法通常包括：在操作S10中輸入對象圖像，在操作S11中檢測對象界標，在操作S12中提取對象反照率和照明，在操作S13中改變對象照明，在操作S14中將對象反照率和改變后的照明混合，以及在操作S15中將經混合的對象反照率和改變后的照明施加到對象圖像。

三菱電機研究所的題為“用于定向照明的歸一化的臉部補亮(Face relightingfor normalization of directional lighting)”的2008年1月29日的美國專利US 7,324,688 B2描述了一種使用逐塊優化算法執行照明操縱以提取反照率和照明圖以進一步進行臉部照明歸一化的方法。該′688號專利中公開的方法的主要缺點是由于將照明操縱方法應用于臉部圖像而導致獨特的臉部特征發生了變化。由此，圖像上的已經受了這種照明操縱方法的臉部變得類似于用于這種照明操縱的參考臉部。

數碼光學歐洲有限公司(DIGITALOPTICS CORPORATION EUROPE LIMIT)等的題為“基于紋理空間分解在統計臉部建模中分離定向照明可變性(Separating directionallighting variability in statistical face modeling based on texture spacedecomposition)”的2013年11月12日的另一項美國專利US 8,582,896 B2描述了一種使用通用臉部模型將圖像分解為反照率和照明的方法，其中該通用臉部模型是通過將主成分分析(PCA)投影到在任意圖像數據庫上訓練的均勻光子空間(Uniform Light Subspace)而創建的。根據該′896號專利的描述，這種方法只能在一定程度上消除照明。此外，該′896號專利的方法無法消除彩色照明，并且不能設計為以高分辨率處理臉部圖像。

微軟公司的題為“臉部圖像處理(Facial image processing)”的2008年10月7日的另一項美國專利US 7,433,807 B2描述了一種處理臉部圖像的方法，該方法使用若干個閃光燈創建3D臉部模型，并基于3D模型法線將反照率與照明分開。該′807號專利中教示的方法需要無法集成到用戶移動設備中的大量硬件。此外，該′807號專利中公開的算法必須分析若干個不同的圖像，因此，它的計算量很大并且不能實時實現。

ANTHROPICS技術有限公司的題為“圖像操縱(Image manipulation)”的2018年1月2日的另一項美國專利US 9,858,654 B2描述了一種處理圖像的方法，該方法形成了基于PCA的2D模型，該模型與輸入的臉部圖像融合以產生具有基于PCA系數進行控制的新照明的輸出圖像。該′654號專利中公開的方法不能去除刺眼的陰影，并且導致改變圖像中獨特的臉部特征。此外，該′654號專利中提出的方法相當慢(由于使用了相應的PortraitPro軟件)，因此不能在實時應用中使用。

其它實現方式在本領域中是已知的，但是不能充分解決上述問題。

以上信息僅作為背景信息呈現，以幫助理解本公開。沒有確定也沒有斷言以上內容中的任何內容是否可以用作關于本公開的現有技術。

發明內容

問題的解決方案