[發明專利]面向跨媒體新聞檢索的人臉-人名對齊方法及系統

有效

• 申請號: 201210076089.0
• 申請日: 2012-03-21
• 公開（公告）號: CN102629275A
• 公開（公告）日: 2012-08-08
• 發明（設計）人: 張玥杰;吳偉;金城;薛向陽
• 申請（專利權）人: 復旦大學
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/27;G06N3/12
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;盛志范

1.一種跨媒體新聞檢索中基于圖像特征和文本語義的人臉-人名對齊方法，其特征在于具體步驟如下：

(1)?圖像與文本預處理，針對原始新聞圖像信息，進行人臉與人名的檢測和提取，并對檢測和提取出來的人臉圖像進行預處理與相似性度量；

(2)?人名重要性評估，對新聞圖像帶有的文本標注進行多層次的文本分析，利用各個人名在對應文本標注中出現的頻率、句法分析樹中的深度、句法分析樹中的廣度遍歷順序三個要素，對從文本標注中檢測提取出來的所有人名度量各自的相對重要性；

(3)?基于Web挖掘的多模態信息發現，將一些在當前新聞圖像集中出現僅一次或少數幾次的人名作為查詢文本，通過主流的圖像搜索網站對其進行圖像檢索，并對所有的信息檢索結果進行評估，衡量這些檢索結果與當前查詢人名的相關性，以此實現針對這些特殊人名獲得更為充分的附加多模態信息資源；

(4)?人臉集內聚度度量，在人臉與人名的對齊過程中，對任意一種全局對齊方式利用k近鄰算法計算各個人名對應的人臉集中所有人臉的緊密度分值，以此獲得各個人臉集的內聚度，進而對當前人臉-人名對齊方式進行有效評估；

(5)?多模態對齊組合優化，利用各人臉集的內聚度，設定全局目標函數，并按照人臉-人名對齊分配的處理機制，設立全局約束條件，建立整數規劃模型，采用改進的自適應遺傳算法進行問題求解，同時結合模擬退火算法，以此能夠同時具有較好的全局解與局部解的尋優能力，進而最終能夠更好地對人臉-人名對齊問題進行求解。

2.根據權利要求1所述的方法，其特征在于在人名重要性評估步驟中，對人名所屬的文本標注進行深層次分析，對文本構造其相應的句法分析樹，將人名實體在對應句法分析樹中的深度以及在該樹中的廣度優先遍歷順序作為兩個句法分析要素；另外，從統計方面出發，將人名在文本中出現的次數也作為一個句法分析要素；最終，以這三個要素共同評估人名重要性；

假定一條新聞圖像標注中包含N個不同的人名，每個人名都具有其各自的人名類NC_i，每個人名類中包含一個或多個人名名稱，這些人名名稱均指向同一個人，并用NC_ij表示人名類NC_i中第j個人名，則任一人名類????????????????????????????????????????????????的句法分析樹深度定義如下：

??????(1)

其中，SNC(NC_i)表示人名類NC_i的大小，即該人名類中所包含的具有內聯性并指向同一個人的不同人名形式個數；SPT_Depth(NC_ij)表示NC_ij在相應句法分析樹中的深度值；

同時，任一人名類NC_i的句法分析樹遍歷順序定義如下：

????(2)

其中，SPT_BFT-Order(NC_ij)表示人名NC_ij在相應句法分析樹中的遍歷順序；

最后，每個人名類的相對重要性可由以上兩個要素以及在相應文本中出現的次數共同來決定，并給這三個要素分配不同的權值系數，通過它們的線性組合進行計算，則相對重要性定義如下：

?????????(3)

其中，α、β及γ分別表示SNC、SPTD和SPTTO的影響因子，代表這三個要素在計算人名重要性時的貢獻程度，并且α+β+γ=1。