[發(fā)明專利]一種基于知識(shí)圖譜的多媒體檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911036867.1
• 申請(qǐng)日: 2019-10-29
• 公開（公告）號(hào): CN110750656B
• 公開（公告）日: 2023-03-14
• 發(fā)明（設(shè)計(jì)）人: 袁賽杰;謝赟;韓欣;許青青
• 申請(qǐng)（專利權(quán)）人: 上海德拓信息技術(shù)股份有限公司
• 主分類號(hào): G06F16/36
• 分類號(hào): G06F16/36;G06F16/41;G06F16/435;G06F16/45
• 代理公司: 上海灣谷知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 31289
• 代理人: 張恒

1.一種基于知識(shí)圖譜的多媒體檢測(cè)方法，其特征在于，包括：

步驟S1，構(gòu)建多媒體數(shù)據(jù)庫(kù)，各個(gè)用戶向多媒體數(shù)據(jù)庫(kù)中上傳共享多媒體文件以及自定義標(biāo)簽；

步驟S2，針對(duì)多媒體文件中包含人像的圖片文件和視頻文件，通過(guò)人臉檢測(cè)、人臉識(shí)別和人臉對(duì)比進(jìn)行處理，構(gòu)建人像庫(kù)；針對(duì)多媒體文件中去除人像后的圖片文件和視頻文件，通過(guò)圖像分類和目標(biāo)檢測(cè)進(jìn)行處理，識(shí)別出場(chǎng)景和實(shí)物；針對(duì)多媒體文件中的文本文件，通過(guò)通用類與教育類兩種分類器，對(duì)文本文件進(jìn)行分類，并根據(jù)分類結(jié)果打上類別標(biāo)簽；

步驟S3，針對(duì)每個(gè)用戶，通過(guò)步驟S2對(duì)其上傳的多媒體文件分析獲得人像數(shù)據(jù)、場(chǎng)景數(shù)據(jù)、實(shí)物數(shù)據(jù)以及文本文件分類數(shù)據(jù)，一方面，將人像數(shù)據(jù)、場(chǎng)景數(shù)據(jù)、實(shí)物數(shù)據(jù)以及文本文件分類數(shù)據(jù)與各多媒體文件進(jìn)行關(guān)聯(lián)，另一方面，將該用戶分別與其上傳的多媒體文件、自定義標(biāo)簽以及人像數(shù)據(jù)進(jìn)行關(guān)聯(lián)，構(gòu)成文件圖譜；

步驟S4，根據(jù)構(gòu)建的人像庫(kù)中每?jī)蓚€(gè)人物之間存在的集體照數(shù)量以及集體照上人數(shù)，確定兩個(gè)人物之間的關(guān)系類型，構(gòu)建人物關(guān)系網(wǎng)絡(luò)；

步驟S5，基于文件圖譜、人物庫(kù)以及人物關(guān)系網(wǎng)絡(luò)，用戶進(jìn)行檢索。

2.根據(jù)權(quán)利要求1所述的基于知識(shí)圖譜的多媒體檢測(cè)方法，其特征在于，所述步驟S2，包括：

當(dāng)圖片文件或視頻文件的關(guān)鍵幀檢測(cè)到人像，通過(guò)人臉檢測(cè)過(guò)濾側(cè)臉和模糊臉，然后通過(guò)人臉識(shí)別將人像信息向量化表示，再將向量化的人像信息與人像庫(kù)內(nèi)數(shù)據(jù)進(jìn)行人臉對(duì)比，計(jì)算相似度并進(jìn)行降序排列，相似度最高且大于預(yù)設(shè)值則認(rèn)為匹配成功，將新的人像信息加入人像庫(kù)，反之匹配失敗時(shí)，則在人像庫(kù)中新增數(shù)據(jù)，以此方式構(gòu)建人像庫(kù)；

針對(duì)去除人像后的圖片文件或視頻文件的關(guān)鍵幀，利用目標(biāo)檢測(cè)模型進(jìn)行圖像分類和目標(biāo)檢測(cè)，從而識(shí)別出相關(guān)的場(chǎng)景或?qū)嵨铮倮蒙疃染矸e網(wǎng)絡(luò)的方式對(duì)實(shí)物進(jìn)行分類。

3.根據(jù)權(quán)利要求2所述的基于知識(shí)圖譜的多媒體檢測(cè)方法，其特征在于，人臉檢測(cè)指：通過(guò)特征點(diǎn)距離計(jì)算出人像雙眼的眼角至眼尾距離比，判斷當(dāng)距離比大于預(yù)設(shè)倍數(shù)時(shí)認(rèn)定人臉為側(cè)向，并將此過(guò)濾；利用拉普拉斯算子進(jìn)行邊緣檢測(cè)，當(dāng)拉普拉斯算子值小于預(yù)設(shè)值時(shí)，則認(rèn)為人像圖為模糊臉而將此過(guò)濾。

4.根據(jù)權(quán)利要求2所述的基于知識(shí)圖譜的多媒體檢測(cè)方法，其特征在于，利用基于角度的人臉識(shí)別模型，進(jìn)行人臉檢測(cè)和人臉識(shí)別。

5.根據(jù)權(quán)利要求1所述的基于知識(shí)圖譜的多媒體檢測(cè)方法，其特征在于，所述步驟S4中的人物關(guān)系包括：

當(dāng)兩個(gè)人物以集體照的形式出現(xiàn)在同一照片中，則認(rèn)為兩人為同框關(guān)系；

當(dāng)兩個(gè)人物的集體照數(shù)量大于第一預(yù)設(shè)數(shù)值且不大于第三預(yù)設(shè)數(shù)值，并且每張照片中人數(shù)少于第二預(yù)設(shè)數(shù)值，則認(rèn)為兩人為認(rèn)識(shí)關(guān)系；

當(dāng)兩個(gè)人物的集體照數(shù)量大于第三預(yù)設(shè)數(shù)值并且每張照片中人數(shù)少于第二預(yù)設(shè)數(shù)值，則認(rèn)為兩人為親密關(guān)系。

6.根據(jù)權(quán)利要求1所述的基于知識(shí)圖譜的多媒體檢測(cè)方法，其特征在于，所述步驟S3中，文件圖譜記錄其他用戶對(duì)文件圖譜中數(shù)據(jù)的操作行為，并關(guān)聯(lián)關(guān)系。

7.根據(jù)權(quán)利要求1所述的基于知識(shí)圖譜的多媒體檢測(cè)方法，其特征在于，通用類文本分類包含體育，財(cái)經(jīng)，房產(chǎn)，家居，教育，科技，時(shí)尚，時(shí)政，游戲，娛樂，彩票，股票，社會(huì)，星座；教育類文本分類包含儀器設(shè)備，黨政，基建，外事，教學(xué)，科研，行政，財(cái)會(huì)。