[發(fā)明專(zhuān)利]基于視頻圖像識(shí)別的人物網(wǎng)絡(luò)關(guān)系發(fā)現(xiàn)及演化呈現(xiàn)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910127715.6
• 申請(qǐng)日: 2019-02-21
• 公開(kāi)（公告）號(hào): CN109948447B
• 公開(kāi)（公告）日: 2023-08-25
• 發(fā)明（設(shè)計(jì)）人: 李超;陳劍;曾慶田;趙中英;李良博
• 申請(qǐng)（專(zhuān)利權(quán)）人: 山東科技大學(xué);青島云數(shù)聯(lián)科技網(wǎng)絡(luò)有限公司
• 主分類(lèi)號(hào): G06V20/40
• 分類(lèi)號(hào): G06V20/40;G06V40/16;G06V10/764;G06Q50/00
• 代理公司: 青島智地領(lǐng)創(chuàng)專(zhuān)利代理有限公司 37252
• 代理人: 種艷麗

1.基于視頻圖像識(shí)別的人物網(wǎng)絡(luò)關(guān)系發(fā)現(xiàn)及演化呈現(xiàn)方法，其特征在于：包括如下步驟：

步驟1：視頻數(shù)據(jù)預(yù)處理；具體包括如下步驟：

步驟1.1：視頻輸入；

步驟1.2：對(duì)輸入的視頻進(jìn)行按幀截取；

步驟1.3：人臉檢測(cè)，判斷是否檢測(cè)到人臉；

若：判斷結(jié)果是沒(méi)有檢測(cè)到人臉，則不保存圖像；

或判斷結(jié)果是檢測(cè)到人臉，則保存圖像；

步驟1.4：將保存的圖像做成數(shù)據(jù)集，對(duì)數(shù)據(jù)集進(jìn)行分割，添加標(biāo)簽；

步驟1.5：特征向量提取，提取出數(shù)據(jù)集分割的訓(xùn)練集和測(cè)試集；

步驟1.6：使用訓(xùn)練集對(duì)模型進(jìn)行訓(xùn)練，使用測(cè)試集對(duì)模型進(jìn)行測(cè)試；

步驟1.7：模型判斷，判斷模型是否滿足精度的要求；

若：判斷結(jié)果是模型滿足精度的要求，則保存模型；

或判斷結(jié)果是模型不滿足精度的要求，則執(zhí)行步驟1.5-步驟1.7，直至模型滿足精度的要求；

步驟2：人臉識(shí)別及更新；具體包括如下步驟：

步驟2.1：判斷模型是否存在；

若：判斷結(jié)果是模型不存在，則返回?cái)?shù)據(jù)預(yù)處理重新進(jìn)行訓(xùn)練；

或判斷結(jié)果是模型存在，則將圖片輸入；

步驟2.2：特征向量提取，進(jìn)行人臉識(shí)別；

步驟2.3：根據(jù)人臉識(shí)別情況進(jìn)行SVM分類(lèi)，得到分類(lèi)預(yù)測(cè)結(jié)果；

步驟2.4：判斷分類(lèi)預(yù)測(cè)結(jié)果的大小；

若：判斷結(jié)果是分類(lèi)預(yù)測(cè)結(jié)果小于判斷未知人臉的閾值，則將人臉判斷為未知的，并將此未知人臉保存下來(lái)，然后執(zhí)行步驟2.5；

或判斷結(jié)果是分類(lèi)預(yù)測(cè)結(jié)果大于人臉的閾值，則將該分類(lèi)預(yù)測(cè)結(jié)果作為輸入，然后執(zhí)行步驟2.6；

步驟2.5：對(duì)保存下來(lái)的未知人臉圖片進(jìn)行人工統(tǒng)計(jì)，當(dāng)相同類(lèi)圖像數(shù)據(jù)達(dá)到標(biāo)注的閾值，進(jìn)行手動(dòng)標(biāo)注，構(gòu)建新的人臉類(lèi)，然后執(zhí)行步驟2.6；當(dāng)人工統(tǒng)計(jì)相同類(lèi)圖像數(shù)據(jù)沒(méi)有達(dá)到標(biāo)注的閾值，則停止模型的更新，保存現(xiàn)有模型；

步驟2.6：進(jìn)行模型自適應(yīng)更新，然后執(zhí)行步驟2.3；

步驟3：人物關(guān)系網(wǎng)絡(luò)構(gòu)建及動(dòng)態(tài)可視化；具體包括如下步驟：

步驟3.1：對(duì)人臉識(shí)別結(jié)果進(jìn)行預(yù)處理；

步驟3.2：基于識(shí)別人臉進(jìn)行網(wǎng)絡(luò)構(gòu)建；

對(duì)圖像采用多幀合成的方式，將多張連續(xù)的圖片識(shí)別出來(lái)的結(jié)果融合疊加成一張網(wǎng)絡(luò)，將識(shí)別出來(lái)的人名作為網(wǎng)絡(luò)圖的節(jié)點(diǎn)，人名出現(xiàn)的次數(shù)作為權(quán)重，輸入網(wǎng)絡(luò)圖；并基于幀的時(shí)間，標(biāo)注構(gòu)建網(wǎng)絡(luò)的時(shí)間戳；

步驟3.3：視頻播放與構(gòu)建的人物關(guān)系網(wǎng)絡(luò)同步動(dòng)態(tài)可視化；

根據(jù)標(biāo)注的時(shí)間戳與視頻中的時(shí)間軸進(jìn)行映射，而后根據(jù)視頻播放的時(shí)間軸，進(jìn)行視頻播放與人物關(guān)系網(wǎng)絡(luò)同步動(dòng)態(tài)可視化呈現(xiàn)；

以“數(shù)據(jù)預(yù)處理-人臉識(shí)別-人物關(guān)系網(wǎng)絡(luò)構(gòu)建-視頻與網(wǎng)絡(luò)關(guān)系同步播放”為主線；首先使用OpenCV對(duì)視頻人物圖像進(jìn)行截取構(gòu)建人臉數(shù)據(jù)集，將獲得的訓(xùn)練集訓(xùn)練SVM分類(lèi)器，用測(cè)試集來(lái)評(píng)估SVM模型；其次，利用HOG算法給圖片編碼，通過(guò)神經(jīng)網(wǎng)絡(luò)模型找到人臉的128維嵌入，通過(guò)訓(xùn)練好的SVM模型進(jìn)行分類(lèi)，挑出未知的人臉，并將識(shí)別準(zhǔn)確率高的圖片更新模型；最后，以識(shí)別出來(lái)的人名為節(jié)點(diǎn)，人名出現(xiàn)的次數(shù)為邊的權(quán)重，構(gòu)建人物關(guān)系網(wǎng)絡(luò)。