[發明專利]多視角圖像的注視校正

有效

• 申請號: 201780006239.1
• 申請日: 2017-01-04
• 公開（公告）號: CN108463787B
• 公開（公告）日: 2021-11-30
• 發明（設計）人: E·薩默雷德;M·G·魯賓遜
• 申請（專利權）人: 瑞爾D斯帕克有限責任公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;H04N13/344;H04N13/117
• 代理公司: 北京嘉和天工知識產權代理事務所(普通合伙) 11269
• 代理人: 嚴慎;王維

本發明公開了多視角圖像的注視校正。通過調節頭部的多視角圖像來校正注視。識別包含所述頭部的左眼和右眼的圖像塊，并且從所述多視角圖像的至少一個圖像中的所述圖像塊的多個本地圖像描述符導出特征向量。使用所導出的特征向量查找由機器學習產生的包括與所述特征向量的可能值相關聯的參考位移向量場的參考數據，從而導出表示圖像塊的變換的位移向量場。通過根據所導出的位移向量場變換包含所述頭部的所述左眼和所述右眼的所述圖像塊來調節所述多視角圖像。

技術領域

本申請涉及根據頭部的眼睛的所感知的注視對頭部的多視角圖像(例如，頭部的立體圖像對)的圖像處理。

背景技術

在許多系統中，頭部的立體圖像對或更一般地多視角圖像可捕獲在一個設備中，并且顯示在不同設備上以便由觀察者觀看。一個非限制性示例是用于執行兩個電信設備之間的電話會議的系統。在這種情況下，每個設備可捕獲該設備的觀察者的頭部的立體圖像對或更一般地多視角圖像，并且通過電信網絡將其傳輸到另一個設備以便顯示并由另一個設備的觀察者觀看。

當頭部的立體圖像對或更一般地多視角圖像被捕獲和顯示時，所顯示的立體圖像對或更一般地多視角圖像中的頭部的注視可能并未指向觀察者。這可例如因頭部的注視未指向用于捕獲立體圖像對的相機系統而引起，例如由于其頭部被成像的用戶正在觀察與相機系統相同的設備中的顯示器并且相機系統向上(或向下)偏離該顯示器。在這種情況下，所顯示的圖像中的注視將被感知為向下的(或向上的)。人類視覺系統已進化到在社交互動期間使用從其他觀察者的虹膜與白色鞏膜的相對位置獲取的線索高度敏感地感知注視。因此，所感知的注視的錯誤會令人不安。例如，在用于執行電話會議的系統中，所感知的注視的錯誤可造成用戶之間不自然的互動。

發明內容

本公開涉及用于調節頭部的立體圖像對或更一般地多視角圖像以校正所感知的注視的圖像處理技術。

根據本公開的第一方面，提供了用于調節頭部的多視角圖像以校正注視的方法，該方法包括：在多視角圖像的每個圖像中，分別識別包含頭部的左眼和右眼的圖像塊；針對在多視角圖像的每個圖像中包含頭部的左眼的圖像塊，并且還針對在多視角圖像的每個圖像中包含頭部的右眼的圖像塊，執行以下步驟：從多視角圖像的至少一個圖像中的圖像塊的多個本地圖像描述符導出特征向量；以及使用所導出的特征向量查找包括與特征向量的可能值相關聯的參考位移向量場的參考數據，從而導出表示圖像塊的變換的位移向量場；以及通過根據所導出的位移向量場變換包含頭部的左眼和右眼的圖像塊，從而調節多視角圖像的每個圖像。

在該方法中，識別并變換包含頭部的左眼和右眼的圖像塊。為了導出表示該變換的位移向量場，從多視角圖像的至少一個圖像中的圖像塊的多個本地圖像描述符導出特征向量，并且使用特征向量查找包括與特征向量的可能值相關聯的參考位移向量場的參考數據。可提前使用機器學習從參考數據導出特征向量的形式。該方法允許注視被校正，從而在隨后顯示多視角圖像時減少錯誤注視的令人不安的效果。

如下導出和使用位移向量場的各種方法是可能的。

在第一方法中，可針對多視角圖像的每個圖像中的圖像塊獨立地導出位移向量場。這允許對注視進行校正，但存在針對每個圖像的位移向量場彼此可能不一致的風險，其結果是執行相沖突的變換，從而可使立體效果失真和/或降低圖像質量。

然而，以下替代方法克服了該問題。

第二可能方法如下。在第二方法中，該方法中所使用的多個本地圖像描述符是多視角圖像的兩個圖像中的多個本地圖像描述符。在這種情況下，參考數據包括用于多視角圖像的每個圖像的參考位移向量場，這些參考位移向量場與特征向量的可能值相關聯。這允許位移向量場從用于多視角圖像的每個圖像的參考數據導出。因此，所導出的用于多視角圖像的每個圖像的位移向量場是固有地一致的。

該第二方法的潛在不利之處在于其可能需要參考數據從立體圖像或更一般地多視角圖像導出，這可能不便于導出。然而，以下方法允許參考數據從單視場圖像導出。