[發明專利]圖像數據處理系統與方法

在審

• 申請號: 201880055814.1
• 申請日: 2018-08-03
• 公開（公告）號: CN111183455A
• 公開（公告）日: 2020-05-19
• 發明（設計）人: 徐意
• 申請（專利權）人: 互曼人工智能科技（上海）有限公司
• 主分類號: G06T7/162
• 分類號: G06T7/162
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 周靖;陸建萍

從被攝體的圖像數據中識別人類特征的一種方法。該方法包括從圖像數據中提取被攝體的圖像序列；從每個圖像中估計被攝體的情感特征度量和面部中層特征度量；對于每個圖像，將相關的估計情感度量和估計面部中層特征度量結合起來形成特征向量，從而形成特征向量序列，每個特征向量與圖像序列的圖像相關聯，并將特征向量序列輸入到人類特征識別神經網絡。人類特征識別神經網絡適于處理特征向量序列，并生成與從特征向量序列導出的至少一個人類特征相對應的輸出數據。

技術領域

本發明涉及從對象的圖像數據中識別人類特征的方法和系統。更具體地說，本發明的實施例涉及從包含人臉圖像的視頻數據中識別人類特征。

背景處理諸如人類等受試者的圖像及視頻數據以試圖確定有關受試者的進一步信息的技術是眾所周知的。例如，面部識別技術被廣泛用于識別圖像中出現的對象，例如用于確定視頻錄像中出現的人的身份。

市場上也已開發了更先進的技術，試圖識別圖像主體超出身份以外的更細微的信息。例如，已經開發了一些算法，試圖從面部圖像數據中識別出關于受試者即時情緒狀態的信息。這樣技術通常采用人工神經網絡，特別是卷積神經網絡(CNNs)。這些卷積神經網絡使用預先選擇的被分類為在圖像數據中顯示與特定預定義情緒相關聯的面部表情的人類對象的圖像進行“訓練”。

雖然這些技術可以證明在識別諸如憤怒、輕蔑、厭惡、恐懼、快樂、悲傷和驚訝等直接和明顯的“反射”情緒方面是成功的，但市面上很少有關于識別人類的更微妙的信息的可靠技術被開發，例如特征(即性格特征)，如自信、誠實、緊張、好奇、判斷和不同意。

發明概要

根據本發明的第一方面，提供了一種從被攝體的圖像數據識別人類特征的方法。該方法包括從圖像數據中提取對象的圖像序列；從每個圖像估計對象的情感特征度量和面部中層特征度量；對于每個圖像，將相關的估計情感度量和估計面部中層特征度量組合起來形成特征向量，從而形成一系列特征向量，每一個特征向量與一系列圖像中的一個圖像相關聯，并將這些特征向量的序列輸入到一個人類特征識別神經網絡。人類特征識別神經網絡適于處理特征向量序列，并生成與從特征向量序列導出的至少一個人類特征相對應的輸出數據。

可選地，圖像數據是視頻數據。

可選地，提取的圖像序列是被攝體的面部的面部圖像。

可選地，被攝體的面部是人的面部。

可選地，情感度量由訓練用于從人臉圖像識別多個預定情感的情感識別神經網絡來估計。

可選地，情緒度量與人類的一種或多種情緒相關聯，包括憤怒、蔑視、厭惡、恐懼、幸福、悲傷和驚訝。

可選地，該方法還包括由情感識別神經網絡輸出n維向量，其中該向量的每個分量對應于預定情感之一，向量的每個分量的大小對應于情緒識別神經網絡識別情緒的置信度。

可選地，該方法包括生成對應于與情感相關聯的n維向量的進一步輸出數據。

可選地，基于圖像識別的算法估計人臉的面部中層特征度量。

可選地，面部中層特征度量是注視、頭部位置和眼睛閉合的一個或多個。

可選地，長短期記憶網絡是由從分類為包含與多個預定人類特征中的一個或多個相關聯的人臉的視頻數據來訓練。

可選地，人類特征識別神經網絡是一個循環神經網絡。

可選地，人的特征識別神經網絡是一個長短期記憶網絡。

可選地，人類特征識別神經網絡是卷積神經網絡。

可選地，人的特征識別神經網絡是基于波網的神經網絡。