[發明專利]一種對電影人臉圖像進行自動標識的方法

無效

• 申請號: 201010141915.6
• 申請日: 2010-04-08
• 公開（公告）號: CN101833569A
• 公開（公告）日: 2010-09-15
• 發明（設計）人: 盧漢清;張一帆;徐常勝;程健
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06K9/62
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 梁愛榮

1.一種對電影人臉圖像進行自動標識的方法，其特征在于，該方法包括步驟如下：

步驟1：利用多視角的人臉檢測和跟蹤器，在一電影視頻中自動獲取人臉序列，對人臉序列進行聚類以對應不同的人物；

步驟2：根據不同人物的人臉序列在相同場景中共同出現的頻次，來度量人臉之間關系，建立人臉關系網絡；

步驟3：利用計算機從電影劇本數據庫下載并存儲與所述一電影視頻相對應的純文本電影劇本，計算機統計純文本電影劇本中不同人物的姓名在相同場景中共同出現的頻次；

步驟4：依據所述頻次來度量人名之間的關系，建立人名關系網絡；

步驟5：計算機將人臉關系網絡和人名關系網絡分別表示成人臉無向圖和人名無向圖的形式，將人臉無向圖和人名無向圖進行匹配，實現人臉關系網絡和人名關系網絡中頂點之間的匹配，即實現將人臉和人名融合的標識。

2.如權利要求1所述的自動標識的方法，其特征在于，度量人臉之間關系時首先是統計人臉序列聚類中包含的人臉序列在各個場景中的分布情況，得到一個人臉出現頻次分布矩陣其中m_f是人臉序列聚類的個數，n_f是視頻中場景的個數，矩陣中的元素o_ik^face表示第i個人臉在第k個場景中出現的頻次。

3.如權利要求1所述的自動標識的方法，其特征在于，計算任兩個人臉在同一個場景中共同出現的頻次c_ij^k計算方式為：其中該式表示第i和第j個人臉在第k個場景中共同出現的頻次c_ij^k；min(o_ik^face，o_jk^face)是取第i和第j個人臉在人臉頻次分布矩陣中第k列的元素o_ik^face和o_jk^face兩者中較小的值。

4.如權利要求1所述的自動標識的方法，其特征在于，兩個人臉在整部電影中共同出現的頻次r_ij^face計算方式為：

其中第i和第j個人臉在第k個場景中共同出現的頻次是r_ij^face，min(o_ik^face，o_jk^face)是取第i和第j個人臉在人臉頻次分布矩陣中第k列的元素o_ik^face和o_jk^face兩者中較小的值，n_f為視頻中場景的個數。

5.如權利要求1所述的自動標識的方法，其特征在于，所述人臉關系網絡是由鄰接矩陣來表示，鄰接矩陣為m_f×m_f的方陣，m_f為人臉序列聚類的個數，其非對角線元素r_ij^face為對應的兩個人臉在整部電影中共同出現的頻次，對角線上的元素r_ii^face為第i個人臉自身在整部電影中出現的頻次。

6.如權利要求1所述的自動標識的方法，其特征在于，所述度量人名之間的關系時首先統計每個人名在各個場景中出現的頻次，得到一個人名出現頻次分布矩陣其中m_n是人名序列聚類的個數，n_n是劇本中場景的個數；矩陣中的元素o_ik^name表示第i個人名在第k個場景中出現的頻次。

7.如權利要求6所述的自動標識的方法，其特征在于，根據公式計算兩兩人名之間共同出現的頻次r_ij^name，生成人名關系網絡。

8.如權利要求7所述的自動標識的方法，其特征在于，所述人名關系網絡由一個鄰接矩陣來表示。

9.如權利要求1所述的自動標識的方法，其特征在于，所述人臉關系網絡R_face和人名關系網絡R_name通過無向圖來表示：G_face＝<V_f，E_f，W_f>，G_name＝<V_n，E_n，W_n>；由于在建立人臉關系網絡與人名關系網絡時，視頻中人臉序列聚類的數目與劇本中人名的數目是保持一致的，因此在用無向圖來表示這兩個網絡時，人臉無向圖和人名無向圖的頂點數是一致的，統一用m來表示，在人臉無向圖G_face中，頂點V_f＝{f₁，f₂，...，f_m}代表m個人臉，邊E_f表示兩兩人臉之間的關系，邊的權重記錄兩兩人臉之間關系的密切程度，頂點的權重記錄對應的人臉在整部電影中出現的頻次；在人名無向圖G_name中，頂點V_n＝{n₁，n₂，...，n_m}代表m個人名，同樣的，邊E_n和權重W_n表示人名之間的相互關系。