[發明專利]一種基于圖像集合的快速多模態視頻人臉識別方法

有效

• 申請號: 202111242020.6
• 申請日: 2021-10-25
• 公開（公告）號: CN113887509B
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 高希占;牛四杰;董吉文
• 申請（專利權）人: 濟南大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V40/16;G06V10/764;G06V10/80;G06K9/62;G06T5/40;G06T7/38
• 代理公司: 濟南領升專利代理事務所(普通合伙) 37246
• 代理人: 王吉勇

1.一種基于圖像集合的快速多模態視頻人臉識別方法，其特征在于，所述方法的實現包括步驟如下：

步驟1，輸入多模態人臉視頻序列視頻數據，所述人臉視頻序列是指經過鏡頭分割之后的視頻片段，所述視頻片段內部只包括特定人員；

步驟11，輸入多模態人臉視頻序列：,和，其中是視頻序列的數量；

步驟2，對步驟1中的所述多模態人臉視頻序列視頻數據進行預處理操作，以獲得圖像集數據；

步驟21，使用Viola-Jones人臉檢測器或MTCNN人臉檢測器對視頻中的每幀圖像進行人臉檢測，得到只包含人臉區域的圖像，并對人臉圖像進行操作使得所有人臉圖像具有相同的大小；

步驟22，首先將步驟21獲得的人臉圖像轉為灰度圖像，然后對其進行直方圖均衡化處理，以減輕光照變化產生的影響，最后每幅圖像都做為一個矩陣，從而將一個人臉視頻序列變為一個圖像集合，即和，分別表示第個圖像集的兩種不同的模態特征,其中表示第個圖像集中的第幅圖像,表示第個圖像集中一共含有幅人臉圖像；

步驟3，對步驟2獲得的所述圖像集數據進行建模表示，生成每個圖像集的矩陣協方差；

步驟31，使用矩陣協方差對每個圖像集進行建模表示，其中：圖像集的矩陣協方差估算為：

,

其中表示圖像集合中所有圖像的均值；

圖像集的矩陣協方差估算為：

步驟32，對每個矩陣協方差添加擾動，確保矩陣是非奇異的；使用相同的矩陣協方差估算方式，將上面的兩組圖像集數據表示為：和，即每個目標都有兩個不同的模態特征進行描述；

步驟4，將步驟3獲得的所述矩陣協方差做為特征圖像，輸入到雙向二維分數階協方差相關分析中，優化求解后得到最優的投影方向，得到每個視頻序列的特征圖像；

步驟41，將步驟32獲得的矩陣協方差做為視頻序列的特征圖像，使用log映射函數將矩陣協方差從黎曼流形映射到其對應的切空間：

其中是對進行的特征值分解；

最終，所有輸入變為：和

步驟42，以步驟41獲得的圖像矩陣為處理對象進行雙向二維典型相關分析，通過尋找兩對最優的投影方向和來最大化投影后變量和之間的相關性；

步驟43，以雙向二維典型相關分析為基礎構建雙向二維分數階嵌入典型相關分析；

引入分數階重建的方法，使用分數階特征值或奇異值對矩陣協方差進行重建，得到分數階協方差矩陣；

步驟44，雙向二維分數階嵌入典型相關分析的目標函數描述為：

同樣基于迭代優化的思想，通過特征值分解并取前個最大特征值對應的特征向量，最終得到最優的投影方向：,,,；

步驟45，將步驟41獲得的數據輸入到雙向二維分數階嵌入典型相關分析算法中，得到雙向二維分數階嵌入協方差相關分析算法，通過訓練后，得到視頻序列數據對應的投影方向：,,,；

步驟5，將步驟4獲得所述特征圖像投影到低維共享子空間，并進行信息融合；

步驟6，信息融合后，使用最近鄰分類器進行分類。

2.根據權利要求1所述的一種基于圖像集合的快速多模態視頻人臉識別方法，其特征在于，所述步驟42中輸入為兩組矩陣變量和，其目標函數為：

其中，為模內協方差矩陣，為模間協方差矩陣。

3.根據權利要求2所述的一種基于圖像集合的快速多模態視頻人臉識別方法，其特征在于，所述協方差矩陣模型通過迭代法進行求解，依次固定和，并使用拉格朗日乘子法對子優化問題進行求解。

4.根據權利要求1所述的一種基于圖像集合的快速多模態視頻人臉識別方法，其特征在于，所述步驟43中，模內協方差矩陣為，先對進行特征值分解：

, ,

其中為特征向量構成的矩陣，表示特征值，是矩陣的秩；

其分數階協方差矩陣可以重建為：

其中分數階特征值矩陣，是大于等于0小于等于1的分數；

其次，對于模間協方差矩陣，首先對其進行奇異值分解：

, ,

其中，表示奇異值矩陣，表示奇異值，是矩陣的秩；其分數階協方差矩陣可以重建為：

,

其中表示分數階奇異值矩陣，是一個分數。