[發明專利]一種基于人臉聚類的視頻編目方法、檢索方法及其系統

有效

• 申請號: 201310504743.8
• 申請日: 2013-10-23
• 公開（公告）號: CN103530652A
• 公開（公告）日: 2014-01-22
• 發明（設計）人: 段勝業;唐小軍;孫劍
• 申請（專利權）人: 北京中視廣信科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F17/30;H04N5/262
• 代理公司: 北京市盛峰律師事務所 11337
• 代理人: 趙建剛

技術領域

本發明屬于視頻編目技術領域，具體涉及一種基于人臉聚類的視頻編目方法、檢索方法及其系統。

背景技術

視頻編目是指對視頻文件進行整理和提煉的過程，將其中有價值的畫面和資料整理成為獨立的文件，便于檢索和再利用。

現有的視頻編目方法主要為基于人臉識別的視頻編目方法，例如，申請號為201110453762.3的專利申請公開了一種基于人臉識別技術的自動編目方法，具體包括：接收人臉素材庫；接收多媒體文件；根據所述視頻文件獲取關鍵幀記錄及與之對應的關鍵幀數據畫面；根據所述關鍵幀數據畫面獲取關鍵幀人臉畫面；根據所述關鍵幀人臉畫面查詢所述人臉素材庫人臉畫面信息，獲取匹配人臉素材文本信息；根據所述關鍵幀記錄對所述音頻文件進行語言識別獲取關鍵幀編目文本；根據所述關鍵幀記錄在所述關鍵幀編目文本中合并所述人臉素材文本信息，獲取編目文件。該專利申請解決了無法通過視頻文件進行編目文件生成及編輯的問題，提高了編目文件生成及處理的精度與靈活性，節約了系統成本，減少了錯誤率，并且具有更廣泛的實用性。

但是，在實現本發明的過程中，發明人發現，上述專利申請至少具有以下不足：

(1)需要提前建立人臉樣本庫：該方法需要提前建立并維護一個關鍵人物樣本庫，在人物樣本庫中預制感興趣人物的人臉樣本，利用該人臉樣本庫對視頻進行編目；(2)只支持利用關鍵人物進行編目：該方法只能識別樣本庫中的關鍵人物，導致其他大部分人物信息丟失，編目信息缺乏完整性；(3)可能存在滯后性：如果調整人臉樣本庫，那么已存在的編目信息不會自動更新，會出現滯后性。

發明內容

針對現有技術存在的缺陷，本發明提供一種基于人臉聚類的視頻編目方法、檢索方法及其系統，解決了無法通過視頻文件自動生成完整的人臉元數據和無法利用人物姓名或者圖片自動檢索視頻的問題。

本發明采用的技術方案如下：

本發明提供一種基于人臉聚類的視頻編目方法，包括以下步驟：

S1，接收待編目的視頻文件，對所述視頻文件進行鏡頭切分，得到視頻鏡頭序列；

S2，對視頻鏡頭序列中的每個視頻鏡頭進行人臉檢測，獲得每個鏡頭中出現的各個人物的人臉圖片及其相關信息；

S3，對檢測出的人臉圖片進行去重，去除同一個鏡頭中同一個人重復的人臉圖片；

S4，對去重后的人臉圖片進行人臉特征提取，將提取到的人臉特征存入人臉特征庫；

S5，根據人臉特征庫中存儲的人臉特征，對通過S3得到的各張人臉圖片進行特征聚類，將同一個人不同鏡頭或視頻片段中得到的人臉圖片聚合在同一個人臉類別中，不同人的人臉圖片被分配到不同的人臉類別中，將各個人物的人臉類別存儲到人臉類別庫中；

S6，對人臉類別庫中存儲的各個人臉類別進行人工標注；

S7，根據人工標注后的人臉類別和類別中人臉的相關信息，自動生成人臉元數據，將所述人臉元數據增加到原始編目文件中，得到最終的視頻編目文件。

優選的，S1中，所述鏡頭切分包括針對鏡頭突變的鏡頭切分、針對鏡頭漸變的鏡頭切分。

優選的，S2中，所述對視頻鏡頭序列中的每個視頻鏡頭進行人臉檢測包括以下步驟：

以Td為時間間隔從每個視頻鏡頭抽取若干個視頻關鍵幀；

對每個視頻關鍵幀進行人臉檢測，檢測得到所述視頻關鍵幀中包含的所有人臉圖像，每一個人臉圖像均生成一張人臉圖片；另外，還生成檢測得到的人臉圖像的相關信息，所述相關信息包括對應的鏡頭編號、人物在視頻中出現的時間、人臉在視頻畫面中的位置、人臉圖像的大小。

優選的，S3中，所述對檢測出的人臉圖片進行去重包括執行以下步驟：

S3.1，建立臨時存儲空間，即人臉堆棧；對于一個視頻鏡頭，初始化人臉堆棧的人臉數Nface為0，初始化視頻關鍵幀的幀序號n為1；

S3.2，讀取視頻關鍵幀V(n)，判斷Nface是否等于0，如果等于，則從視頻關鍵幀V(n)中提取所有人臉圖片、以及各張人臉圖片在視頻關鍵幀V(n)中的位置坐標，設提取到m個人臉圖片；然后將所有人臉圖片和位置坐標存儲到人臉堆棧中，并更新Nface為m；其中，m≥1；