日韩在线一区二区三区,日本午夜一区二区三区,国产伦精品一区二区三区四区视频,欧美日韩在线观看视频一区二区三区 ,一区二区视频在线,国产精品18久久久久久首页狼,日本天堂在线观看视频,综合av一区

[發(fā)明專利]基于骨架和視頻特征融合的行為分類方法有效

專利信息
申請?zhí)枺?/td> 202011419698.2 申請日: 2020-12-06
公開(公告)號: CN112560618B 公開(公告)日: 2022-09-16
發(fā)明(設(shè)計)人: 路紅;汪子健;楊博弘;冉武;沈夢琦;任浩然 申請(專利權(quán))人: 復旦大學
主分類號: G06V40/20 分類號: G06V40/20;G06V10/764;G06V10/774;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
代理公司: 上海正旦專利代理有限公司 31200 代理人: 陸飛;陸尤
地址: 200433 *** 國省代碼: 上海;31
權(quán)利要求書: 查看更多 說明書: 查看更多
摘要:
搜索關(guān)鍵詞: 基于 骨架 視頻 特征 融合 行為 分類 方法
【說明書】:

發(fā)明屬于計算機圖像處理技術(shù)領(lǐng)域,具體為一種基于骨架和視頻特征融合的行為分類方法。本發(fā)明方法包括:對已有的人類行為視頻數(shù)據(jù)進行預處理,通過人體檢測模型和OpenPose分別獲取對應的人體檢測框和人體骨架數(shù)據(jù),作為深度學習模型的訓練數(shù)據(jù);其中視頻數(shù)據(jù)和人體檢測框數(shù)據(jù)作為前景與背景特征融合網(wǎng)絡(luò)的輸入,骨架特征作為個體與群體特征融合網(wǎng)絡(luò)的輸入;兩個網(wǎng)絡(luò)的輸出結(jié)果進行平均為最終分類結(jié)果;接著對訓練集進行監(jiān)督式學習,得到泛化的深度學習模型;然后,對識別的視頻進行和模型訓練時一樣的預處理,然后作為輸入,放進預先訓練好深度學習模型里,就能得到行為分類的結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機圖像處理技術(shù)領(lǐng)域,具體涉及一種利用骨架特征和視頻特征融合的行為分類方法。

背景技術(shù)

在計算機視覺任務(wù)中,行為識別是十分具有挑戰(zhàn)性的領(lǐng)域。行為識別主要有兩類研究方法,一類是基于RGB圖像的行為識別,另外一類是基于骨架的行為識別。基于RGB的方法,其優(yōu)點是擁有所有視覺層面上的信息,特征完備,但其缺點是場景過于豐富,而人體姿態(tài)在不同的相機角度下變化太大,模型無法完全理解人體姿態(tài)語義信息,可能學習到更多的背景特征。基于骨架的方法,其優(yōu)點人體姿態(tài)結(jié)構(gòu)清晰,天然的圖模型,對相機視角變化和背景不敏感,特征聚焦在人體。但其缺點也很明顯,沒有其他物體和背景相關(guān)特征,導致當人體與物體進行交互時,往往很難識別其行為類別。因此可以通過將視頻特征與骨架特征相融合,以解決單一特征不魯棒的缺點。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種魯棒性好的將視頻與骨架特征融合的行為分類方法。

本發(fā)明提供的將視頻與骨架特征融合的行為分類方法,是基于深度學習的;基本步驟為:對已有的人類行為視頻數(shù)據(jù)進行預處理,通過人體檢測模型和OpenPose[1]分別獲取對應的人體檢測框和人體骨架數(shù)據(jù),作為深度學習模型的訓練數(shù)據(jù);其中視頻數(shù)據(jù)和人體檢測框數(shù)據(jù)作為前景與背景特征融合網(wǎng)絡(luò)的輸入,骨架特征作為個體與群體特征融合網(wǎng)絡(luò)的輸入;兩個網(wǎng)絡(luò)的輸出結(jié)果進行平均為最終分類結(jié)果;接著對訓練集進行監(jiān)督式學習,得到泛化的深度學習模型;然后,對識別的視頻進行和模型訓練時一樣的預處理,然后作為輸入,放進預先訓練好深度學習模型里,就能得到行為分類的結(jié)果。

本發(fā)明提出的基于骨架和視頻特征融合的行為分類方法,具體步驟如下:

(1)獲取深度學習的訓練數(shù)據(jù);

(2)訓練深度學習模型;

(3)用訓練好的模型對視頻進行行為分類。

步驟(1)中所述獲取深度學習訓練數(shù)據(jù)的具體流程為:

(11)首先處理視頻數(shù)據(jù);所有的視頻數(shù)據(jù)都按30FPS處理,所有視頻縮放至256×256,并同時從視頻中隨機抽取一段視頻幀,長度為T,采樣率為2(即每隔一幀采樣一次);

(12)用ResNet-101-FPN為骨干的Faster-RCNN[2]模型對流程(11)中處理好的視頻數(shù)據(jù)進行人體檢測,得到人體檢測框;該ResNet-101-FPN為骨干的Faster-RCNN模型是在ImageNet和COCO人體關(guān)鍵點數(shù)據(jù)集上預訓練得到的;

(13)對流程(12)中獲取的人體檢測框數(shù)據(jù),在每個人體框內(nèi)使用OpenPose的2D姿態(tài)估計來獲取骨架數(shù)據(jù),其數(shù)據(jù)結(jié)構(gòu)為18個關(guān)節(jié)的2D空間坐標。

步驟(2)中所述訓練深度學習模型,具體包括:

對于視頻數(shù)據(jù)使用前景與背景特征融合網(wǎng)絡(luò)進行訓練;所述前景與背景特征融合網(wǎng)絡(luò)是由3DCNN網(wǎng)絡(luò)提取的背景特征與人體檢測框內(nèi)的前景特征進行融合的網(wǎng)絡(luò),其中3DCNN網(wǎng)絡(luò)使用SlowFast[3]網(wǎng)絡(luò);

下載完整專利技術(shù)內(nèi)容需要扣除積分,VIP會員可以免費下載。

該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息,商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于復旦大學,未經(jīng)復旦大學許可,擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作,請聯(lián)系【客服

本文鏈接:http://www.szxzyx.cn/pat/books/202011419698.2/2.html,轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。

同類專利
專利分類
×

專利文獻下載

說明:

1、專利原文基于中國國家知識產(chǎn)權(quán)局專利說明書;

2、支持發(fā)明專利 、實用新型專利、外觀設(shè)計專利(升級中);

3、專利數(shù)據(jù)每周兩次同步更新,支持Adobe PDF格式;

4、內(nèi)容包括專利技術(shù)的結(jié)構(gòu)示意圖流程工藝圖技術(shù)構(gòu)造圖

5、已全新升級為極速版,下載速度顯著提升!歡迎使用!

請您登陸后,進行下載,點擊【登陸】 【注冊】

關(guān)于我們 尋求報道 投稿須知 廣告合作 版權(quán)聲明 網(wǎng)站地圖 友情鏈接 企業(yè)標識 聯(lián)系我們

鉆瓜專利網(wǎng)在線咨詢

周一至周五 9:00-18:00

咨詢在線客服咨詢在線客服
tel code back_top
主站蜘蛛池模板: 国产69精品久久久久999天美| 午夜电影一区二区三区| 欧美日韩三区二区| av毛片精品| 国产免费观看一区| 国产精品亚洲欧美日韩一区在线| 少妇性色午夜淫片aaa播放5| 狠狠色噜噜狠狠狠狠2021天天| 国产精品综合一区二区| 久久久精品观看| 在线视频国产一区二区| 国产精品视频免费看人鲁| 少妇高潮一区二区三区99小说| 色噜噜狠狠一区二区| 国内少妇自拍视频一区| 国产精品日韩精品欧美精品| 久久精品国产99| 久久一区欧美| 夜夜嗨av色一区二区不卡| 中文字幕在线一二三区| 精品国产鲁一鲁一区二区三区| 欧美日韩九区| 欧美精品五区| 亚洲神马久久| 国产精品一区久久人人爽| 国产精品乱码久久久久久久久| 亚洲二区在线播放视频| 欧洲精品一区二区三区久久| 91视频国产一区| 日韩精品一区二区亚洲| 国产精品日韩三级| 久久午夜鲁丝片| 神马久久av| 国产精品国产三级国产专区55| 国产中文字幕一区二区三区| 91精品国产综合久久婷婷香| 一区二区三区中文字幕| 欧美一区二区三区免费看| 国产国产精品久久久久| 538国产精品一区二区免费视频| 欧美一区二区三区四区五区六区 | 91麻豆精品国产91久久久更新资源速度超快 | 日本伦精品一区二区三区免费| 午夜爱爱电影| 国产69精品久久久久9999不卡免费 | av午夜剧场| 91免费看国产| 国产精品日韩一区二区| 国产一区二区91| 午夜看大片| 国产一区免费在线观看| 欧美激情在线一区二区三区| 超碰97国产精品人人cao| 国产一区二区免费电影| 午夜黄色网址| 国产不卡三区| 日韩中文字幕亚洲欧美| 久久综合国产伦精品免费| 亚洲欧洲一区二区| 亚洲精品国产setv| 日韩亚洲欧美一区二区| 国产女人与拘做受免费视频| 欧美日韩国产一区在线| 国产欧美日韩中文字幕| 国产91久| 亚洲国产欧美一区二区丝袜黑人| 麻豆精品久久久| 欧美一区视频观看| 7777久久久国产精品| 亚洲欧洲日韩av| 中文字幕国内精品| 国产乱人激情h在线观看| 亚洲精品久久久久不卡激情文学| 91精品国产综合久久国产大片| 偷拍自中文字av在线| 欧美精品日韩| 中文字幕欧美日韩一区 | 国产欧美www| 蜜臀久久99精品久久久 | 国产中文字幕一区二区三区 | 欧美精品日韩一区| 中文字幕理伦片免费看| 456亚洲精品| 日韩国产精品一区二区| 国产日韩欧美综合在线| 亚洲精品日韩在线| 国产伦精品一区二区三区电影| 91精品第一页| 夜夜夜夜曰天天天天拍国产| 国产精品免费一视频区二区三区| 日本一二三四区视频| 一区二区久久精品| 午夜av在线电影| 国产目拍亚洲精品区一区| 日韩精品一区在线视频| 国产在线视频99| 久久99国产精品久久99果冻传媒新版本| 午夜电影毛片| 91视频一区二区三区| 日韩一级片免费观看| 中文字幕一二三四五区| 99精品一级欧美片免费播放| 久久密av| 国产伦精品一区二区三区免费迷| 日韩精品免费看| 午夜看大片| 97视频一区| 欧美乱妇高清无乱码一级特黄| 99爱精品视频| 91黄色免费看| 玖玖国产精品视频| 久久一区欧美| 狠狠色噜噜狠狠狠狠综合久| 96精品国产| 午夜影院毛片| 私人影院av| 日本一二三四区视频| 精品国产一区二区三区忘忧草| 国产精品理人伦一区二区三区| 免费的午夜毛片| 亚洲色欲色欲www| 国产一区免费在线观看| 日韩av中文字幕在线| 欧美一区二区三区免费视频| 亚洲精品日韩精品| 国产天堂第一区| 精品国产一区二区三区久久久久久| 日韩精品福利片午夜免费观看| 狠狠色综合欧美激情| 国产精品96久久久久久久| 精品一区二区三区视频?| 国产91电影在线观看| 国产精品麻豆一区二区| 国产欧美一区二区三区精品观看| 亚洲国产精品精品| 7799国产精品久久99| 91一区二区三区视频| 国产白丝一区二区三区| 亚洲欧美日韩在线看| 欧美一区二区三区三州| 国产福利精品一区| 女人被爽到高潮呻吟免费看| 午夜激情看片| 国产精品videossex国产高清| 国产jizz18女人高潮| 欧美精品一区二区三区在线四季| 好吊妞国产欧美日韩免费观看网站| 高清欧美精品xxxxx在线看| 欧美一区二区三区另类| 国产69精品福利视频| 美女直播一区二区三区| 香港三日本三级三级三级| 亚洲乱码av一区二区三区中文在线:| 国产性猛交96| 日韩av免费网站| 欧美精品日韩| 欧美日韩国产专区| 激情aⅴ欧美一区二区三区| 日韩欧美国产高清91| 国产精品视频久久久久久| 视频一区二区三区欧美| 亚洲精品卡一| 色婷婷久久一区二区三区麻豆| 国产一二三区免费| 一区二区三区精品国产| 色综合欧美亚洲国产| 国产精品日本一区二区不卡视频| 肉丝肉足丝袜一区二区三区| 丝袜脚交一区二区| 亚洲少妇中文字幕| 午夜欧美影院| 国产精品日韩高清伦字幕搜索| 亚洲美女在线一区| 91精品一区| 国产一区日韩一区| 午夜精品99| 精品久久9999| 欧美高清视频一区二区三区| 精品欧美一区二区精品久久小说 | 国产视频二区| 欧美在线视频一二三区| 99精品欧美一区二区| 国产91视频一区| 一级久久久| 欧美国产一区二区三区激情无套| 午夜av免费观看| 国产精品视频久久久久久久| 欧美精品一区久久| 99精品小视频| 久久综合久久自在自线精品自| 亚洲一区二区国产精品| 午夜影院啪啪| 国产黄色网址大全| 国产网站一区二区| 久久久久久亚洲精品| 欧美一区二区三区激情在线视频| 国产精品九九九九九九九| 一二三区欧美| 国产性生交xxxxx免费| 97欧美精品| 精品99免费视频| 国产精品刺激对白麻豆99| 中文在线一区二区三区| 91片在线观看| 日本精品一区视频| 国产精品久久久久久久久久久久久久久久 | 26uuu亚洲电影在线观看| 日本黄页在线观看| 国产精品v一区二区三区| 欧美中文字幕一区二区| 欧洲在线一区二区| 亚洲第一天堂久久| 国产精品久久久久久久综合| 久久天天躁夜夜躁狠狠躁2022| 国产真实乱偷精品视频免| 狠狠色噜狠狠狠狠| 91精品视频免费在线观看| 欧美国产一二三区| 欧美精品五区| 综合久久激情| 国产亚洲精品精品国产亚洲综合| 欧美激情精品久久久久久免费| 欧美精品在线视频观看| 中文在线一区二区三区| 国产日韩欧美在线影视| 国产精品久久久久久久久久久久久久不卡| 久久综合久久自在自线精品自| 精品国产伦一区二区三区| 日韩一级精品视频在线观看 | 国产偷国产偷亚洲清高| 88888888国产一区二区| 国产精品高潮呻| 久久国产精品久久| 久久人人97超碰婷婷开心情五月| 久久久精品久久日韩一区综合| 狠狠色狠狠色综合日日五| 欧美日韩中文不卡| 亚洲一二区在线观看| а√天堂8资源中文在线| 国产精品偷拍| 少妇bbwbbwbbw高潮| 狠狠色噜噜狠狠狠狠色综合久老司机| 国产aⅴ精品久久久久久| 中文字幕精品一区二区三区在线| 美国三级日本三级久久99| 国产精品一区二区6|