[發(fā)明專利]視頻處理方法、裝置、計(jì)算機(jī)設(shè)備及可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202211078027.3
• 申請(qǐng)日: 2022-09-05
• 公開（公告）號(hào): CN115482485A
• 公開（公告）日: 2022-12-16
• 發(fā)明（設(shè)計(jì)）人: 張偉;何得淮;蔣靜文;何行知;姚佳;顏泳濤;王壘;路浩
• 申請(qǐng)（專利權(quán)）人: 四川大學(xué)華西醫(yī)院;四川省監(jiān)獄管理局
• 主分類號(hào): G06V20/40
• 分類號(hào): G06V20/40;G06V10/46;G06V40/16;G06N3/08;G06N3/04
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 賈耀斌

1.一種視頻處理方法，其特征在于，包括：

獲取視頻文件；

根據(jù)預(yù)設(shè)圖像歸一化規(guī)則對(duì)所述視頻文件進(jìn)行預(yù)處理，以得到目標(biāo)圖像序列；

分別對(duì)所述目標(biāo)圖像序列進(jìn)行人臉檢測(cè)和人體檢測(cè)，以得到目標(biāo)對(duì)象的人臉關(guān)鍵點(diǎn)和人體關(guān)鍵點(diǎn)；

基于所述人臉關(guān)鍵點(diǎn)識(shí)別對(duì)應(yīng)目標(biāo)對(duì)象的情緒狀態(tài)和困倦狀態(tài)；

基于所述人體關(guān)鍵點(diǎn)識(shí)別對(duì)應(yīng)目標(biāo)對(duì)象的肢體姿態(tài)和肢體運(yùn)動(dòng)狀態(tài)；

根據(jù)所述情緒狀態(tài)、所述困倦狀態(tài)、所述肢體姿態(tài)以及所述肢體運(yùn)動(dòng)狀態(tài)判斷所述目標(biāo)對(duì)象的行為集合是否包括預(yù)設(shè)行為，并在所述目標(biāo)對(duì)象的行為集合包括所述預(yù)設(shè)行為時(shí)，向預(yù)設(shè)終端發(fā)送提示信息。

2.根據(jù)權(quán)利要求1所述的視頻處理方法，其特征在于，所述分別對(duì)所述目標(biāo)圖像序列進(jìn)行人臉檢測(cè)和人體檢測(cè)，以得到目標(biāo)對(duì)象的人臉關(guān)鍵點(diǎn)和人體關(guān)鍵點(diǎn)，包括：

通過哈爾特征識(shí)別模型檢測(cè)并截取所述目標(biāo)圖像序列中每一幀圖像的人臉區(qū)域；基于人臉關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)識(shí)別所述人臉區(qū)域中的人臉關(guān)鍵點(diǎn)，以得到所述目標(biāo)對(duì)象的人臉關(guān)鍵點(diǎn)；

通過Faster RCNN模型檢測(cè)并截取所述目標(biāo)圖像序列中每一幀圖像的人體區(qū)域；通過高分辨率網(wǎng)絡(luò)識(shí)別所述人體區(qū)域的人體關(guān)鍵點(diǎn)，以得到所述目標(biāo)對(duì)象的人體關(guān)鍵點(diǎn)。

3.根據(jù)權(quán)利要求2所述的視頻處理方法，其特征在于，所述方法還包括：

基于預(yù)設(shè)細(xì)粒度頭部姿態(tài)估計(jì)網(wǎng)絡(luò)識(shí)別所述人臉區(qū)域，以得到目標(biāo)對(duì)象的頭部姿態(tài)；

所述根據(jù)所述情緒狀態(tài)、所述困倦狀態(tài)、所述肢體姿態(tài)以及所述肢體運(yùn)動(dòng)狀態(tài)判斷所述目標(biāo)對(duì)象的行為集合是否包括預(yù)設(shè)行為，還包括：

根據(jù)所述情緒狀態(tài)、所述困倦狀態(tài)、所述頭部姿態(tài)、所述肢體姿態(tài)以及所述肢體運(yùn)動(dòng)狀態(tài)判斷所述目標(biāo)對(duì)象的行為集合是否包括預(yù)設(shè)行為。

4.根據(jù)權(quán)利要求1所述的視頻處理方法，其特征在于，所述基于所述人臉關(guān)鍵點(diǎn)識(shí)別對(duì)應(yīng)目標(biāo)對(duì)象的情緒狀態(tài)，包括：

將第一數(shù)量的人臉關(guān)鍵點(diǎn)劃分為第二數(shù)量的人臉關(guān)鍵區(qū)域，其中，所述第一數(shù)量大于所述第二數(shù)量；

基于預(yù)設(shè)環(huán)狀神經(jīng)網(wǎng)絡(luò)模型識(shí)別所述人臉關(guān)鍵區(qū)域，并得到對(duì)應(yīng)所述目標(biāo)對(duì)象的情緒狀態(tài)。

5.根據(jù)權(quán)利要求1所述的視頻處理方法，其特征在于，所述基于所述人臉關(guān)鍵點(diǎn)識(shí)別對(duì)應(yīng)目標(biāo)對(duì)象的困倦狀態(tài)，包括：

基于眼睛區(qū)域的人臉關(guān)鍵點(diǎn)以及預(yù)設(shè)閉眼率計(jì)算公式計(jì)算對(duì)應(yīng)目標(biāo)對(duì)象的閉眼率；

若所述閉眼率大于第一閾值，識(shí)別所述目標(biāo)對(duì)象為沉睡狀態(tài)；

若所述閉眼率小于所述第一閾值，大于第二閾值，識(shí)別所述目標(biāo)對(duì)象為具有睡意狀態(tài)，其中，所述第一閾值大于所述第二閾值；

若所述閉眼率小于所述第二閾值，識(shí)別所述目標(biāo)對(duì)象為清醒狀態(tài)。

6.根據(jù)權(quán)利要求1所述的視頻處理方法，其特征在于，所述根據(jù)預(yù)設(shè)圖像歸一化規(guī)則對(duì)所述視頻文件進(jìn)行預(yù)處理，以得到目標(biāo)圖像序列，包括：

按照時(shí)間順序讀取所述視頻文件，以得到多幀數(shù)的初始圖像序列；

對(duì)每一幀對(duì)象進(jìn)行RGB圖像歸一化處理，以得到所述目標(biāo)圖像序列。

7.根據(jù)權(quán)利要求6所述的視頻處理方法，其特征在于，所述基于所述人體關(guān)鍵點(diǎn)識(shí)別對(duì)應(yīng)目標(biāo)對(duì)象的肢體姿態(tài)和肢體運(yùn)動(dòng)狀態(tài)，包括：

根據(jù)所述人體關(guān)鍵點(diǎn)的位置坐標(biāo)，識(shí)別對(duì)應(yīng)目標(biāo)對(duì)象的肢體姿態(tài)；

根據(jù)連續(xù)多幀圖像中人體關(guān)鍵點(diǎn)的位置坐標(biāo)的變化情況，計(jì)算對(duì)應(yīng)目標(biāo)對(duì)象各肢體部位的運(yùn)動(dòng)幅度和運(yùn)動(dòng)速度，以得到所述目標(biāo)對(duì)象的肢體運(yùn)動(dòng)狀態(tài)。