[發明專利]媒體捕獲事件中的實體的自動識別

有效

• 申請號: 202011083777.0
• 申請日: 2016-06-16
• 公開（公告）號: CN112218112B
• 公開（公告）日: 2022-06-17
• 發明（設計）人: A·考爾;S-E·特雷姆布萊
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: H04N21/2187
• 分類號: H04N21/2187;H04N21/234;H04N21/44;H04N21/4722;H04N21/84;H04N21/8405;G06V40/16;G06V20/40;G06V10/774;G06V10/764;G06K9/62
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 范懷志

使得能夠使用識別過程實時標識實況廣播(例如，實況事件的流式內容(例如，視頻))及非實況呈現(例如，電影)中諸如人物和內容的實體的架構。這可以通過提取與實況事件相關的實況數據來完成。關于人物實體，可以執行過濾，以從所提取的實況數據中標識已命名的(人物)實體，以及被發現與實況事件相關聯的、與已命名的實體相關的趨勢話題。針對已命名的實體，捕獲在不同條件下捕獲已命名的實體的已命名的實體的多個圖像。然后對圖像進行處理，以提取并學習臉部特征(訓練一個或多個模型)，然后使用一個或多個經訓練的模型對視頻中的臉部執行臉部識別。

本申請是于2016年6月16日向國際局提出、優先權日為2015年6月16日、于2017年12月15日進入中國國家階段、國家申請號為201680035310.4、發明名稱為“媒體捕獲事件中的實體的自動識別”的中國發明專利申請的分案申請。

背景技術

臉部識別是流行且充滿競爭的技術領域。然而，實況廣播的實時臉部標識面臨巨大的挑戰。為了這樣的系統運作，必須創建具有可能出現在電視上的每個人(例如，名人、體育明星等)的臉部的龐大支持系統。然而，快速且提供高精度的這種規模的系統是非常難以實現的。而且，采用出現在廣播中的人物的相當小的子集仍然導致通常在廣播中看到的數百萬個臉部，這是無法進行實時處理的數量。此外，許多名人臉部看起來如此相似，使得用于實時區分這些臉部所需的處理是不切實際的。需要獲得結果的速度、所需的存儲器資源以及低精度是大規模的實時標識實況廣播的臉部面臨巨大的挑戰的原因。

發明內容

以下呈現簡化的發明內容，以提供對本文所描述的一些新穎實現的基本理解。本發明內容并不是廣泛的概述，也不旨在標識關鍵/重要元素或劃定其范圍。其唯一目的是以簡化的形式呈現一些概念，作為稍后呈現的更詳細描述的序言。

所公開的架構使得能夠至少使用識別過程(例如，臉部識別)在實況廣播(例如，實況事件的流式內容(例如，視頻))和非實況呈現(例如，電影)中實時標識諸如人物和內容(例如，文本、標志等)的實體。可以針對實況事件的電視廣播以及電視節目和電影來實現實時標識，并且實時標識足夠輕量化(用于更簡單和更快的執行的更少的指令)以通過具有適度資源的系統(例如，本地客戶端設備、便攜式計算設備、蜂窩電話等)進行處理。

所公開的架構擴展到實況廣播和非實況電視以及基于計算機的節目和電影，以識別視頻幀中的實體并且利用來自網絡源的信息/內容以及來自用戶的個人存儲和企業信息源的信息/內容來補充視頻呈現，網絡源例如是限制性(登錄啟用)信息源以及因特網的非限制性信息源(例如，網站)。

更具體地，這可以通過提取與實況事件有關的實況數據來實現(其中實況數據包括在事件正在發生時生成的實時信息和/或在與事件正在發生的時間接近的時間生成的實時信息)。關于人物實體，可以執行過濾，以從所提取的實況數據中標識已命名的實體(例如，人物)，以及與實況事件相關聯地、被發現與已命名的實體有關的趨勢話題?？梢岳迷诓煌瑮l件(例如，照明、用于實現品質識別的一個或多個合適姿勢等)下捕獲的已命名的實體的多個圖像(例如，照片)。然后對圖像進行處理，以提取并學習臉部特征(訓練一個或多個模型)，然后使用一個或多個經訓練的模型對(例如，實況)視頻中的臉部執行臉部識別。

架構還適用于在諸如聚會、集會等的社交活動期間，在個人電影/照片中捕獲的家庭成員、親屬和/或朋友的識別處理。可以基于針對這些種類的人物訓練的個人模型來標識這樣的人物。例如，常見的是家庭和親屬的家庭規模擴大并且跨地理位置分散，使得與子女和孫子女的“緊密聯系”很困難。捕獲表親、親屬等的家庭圖像以及訪問這樣的圖像隨后使得能夠在經由視頻、照片等回顧過去的事件(例如，聚會)的同時識別這些成員的臉部和背景內容。在回顧期間與視頻/照片一起呈現的信息可以包括從社交網絡和其他合適的信息源接收的此人正在做什么、傳記信息等。