[發(fā)明專利]一種基于草圖的場景級細粒度視頻檢索方法及系統(tǒng)在審
| 申請?zhí)枺?/td> | 202210429989.2 | 申請日： | 2022-04-22 |
| 公開（公告）號： | CN114969430A | 公開（公告）日： | 2022-08-30 |
| 發(fā)明（設計）人： | 馬翠霞;左然;劉舫;陳科圻;張拯明;鄧小明;王宏安 | 申請（專利權(quán)）人： | 中國科學院軟件研究所 |
| 主分類號： | G06F16/732 | 分類號： | G06F16/732;G06F16/783;G06N3/04;G06V10/74;G06V10/764;G06V10/774;G06V10/80;G06V10/82 |
| 代理公司： | 北京君尚知識產(chǎn)權(quán)代理有限公司 11200 | 代理人： | 李文濤 |
| 地址： | 100190 *** | 國省代碼： | 北京;11 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 基于 草圖 場景 細粒度 視頻 檢索 方法 系統(tǒng) | ||
本發(fā)明公開了一種基于草圖的場景級細粒度視頻檢索方法及系統(tǒng)，屬于計算機視覺領域，通過提取草圖特征，構(gòu)建基于外觀特征和類別特征的草圖空間結(jié)構(gòu)圖；提取視頻特征，構(gòu)建基于視頻時序信息、外觀特征和類別特征的視頻時空結(jié)構(gòu)圖，利用自適應幀采樣策略進行視頻幀采樣，先對視頻幀稀疏采樣，再利用草圖?視頻關聯(lián)關系模型進行視頻幀篩選，利用草圖?視頻檢索模型中完成視頻細粒度檢索。本發(fā)明將出現(xiàn)在不同時間段的物體壓縮至同一張草圖中，進行場景級的視頻內(nèi)容概括，檢索出與草圖背景元素、物體外觀特征與動作類型均一致的視頻。
技術領域
本發(fā)明屬于計算機視覺領域，具體涉及一種基于草圖的場景級細粒度視頻檢索方法及系統(tǒng)。
背景技術
草圖作為一種手繪圖像，通過簡單的線條組合可以抽象性地展示物體的外觀特征及位置信息，被廣泛應用于基于草圖的圖像研究中，如圖像補全、圖像檢索、圖像生成等各項任務。草圖可以跨越時序信息將不同時間段的物體及相應動作概括在一張草圖內(nèi)，在結(jié)合時序信息和空間位置上的優(yōu)越性使其逐步被應用于視頻相關任務上，基于草圖的視頻檢索(Sketch-based Image Retrieval，SBVR)任務取得了巨大的研究進展，它可被廣泛應用于視覺、多媒體領域，如視頻瀏覽、視頻查詢和編輯等工作中。但現(xiàn)有的大部分基于草圖的視頻檢索工作采用傳統(tǒng)方法，草圖僅繪制簡單的線條輪廓進行類別級別的視頻檢索；而采用深度學習方法的實例級別的視頻檢索僅針對單個物體，且不包含背景信息。
草圖可以描述物體的外觀特征及動作過程，結(jié)合空間位置和時序信息，可有效地提高視頻檢索效果。傳統(tǒng)方法(參考文獻：J.P.Collomosse,G.McNeill,and Y.Qian,“Storyboard sketches for content based video retrieval,”in 2009IEEE 12thInternational Conference on Computer Vision.IEEE,2009,pp.245–252.)是先將視頻幀分割為彩色區(qū)域，提取區(qū)域特征：面積、顏色、前景物體等，再通過幀間單映射代表相機運動，從而代表人的運動軌跡，然后由草圖加草圖符號來進行視頻檢索。Peng Xu(參考文獻：P.Xu,K.Liu,T.Xiang,T.M.Hospedales,Z.Ma,J.Guo,and Y.-Z.Song,“Fine-grainedinstance-level sketch-based video retrieval,”arXiv preprint arXiv:2002.09461,2020.)采用深度學習方法，利用三元組網(wǎng)絡，特征提取分為外觀特征流和動作特征流，最后將特征進行融合，利用三元組損失函數(shù)進行視頻檢索任務。場景級SBIR(參考文獻：F.Liu,C.Zou,X.Deng,R.Zuo,Y.-K.Lai,C.Ma,Y.-J.Liu,and H.Wang,“Scenesketcher:Fine-grained image retrieval with scene sketches,”2020.)實現(xiàn)的是場景草圖檢索圖像，無法捕捉視頻中的動作信息。
由上述可知，現(xiàn)有的基于草圖的視頻檢索方法不能解決復雜場景下含有多個物體的細粒度視頻檢索問題。
發(fā)明內(nèi)容
本發(fā)明的目的在于提出一種基于草圖的場景級細粒度視頻檢索方法(Scene-level Video Retrieval with Sketches)及系統(tǒng)，本發(fā)明進行場景級(即包含多個前景物體和背景信息)的基于草圖的視頻檢索，通過將出現(xiàn)在不同時間段的物體壓縮至同一張草圖中，進行場景級的視頻內(nèi)容概括，檢索出與草圖背景元素、物體外觀特征與動作類型均一致的視頻。
為達到上述目的，本發(fā)明采用的技術方案如下：
一種基于草圖的場景級細粒度視頻檢索方法，包括以下步驟：
該專利技術資料僅供研究查看技術是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于中國科學院軟件研究所，未經(jīng)中國科學院軟件研究所許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202210429989.2/2.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
