[發(fā)明專利]基于超分辨網(wǎng)絡的目標搜索重建方法、裝置及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202111168764.8
• 申請日: 2021-10-08
• 公開（公告）號: CN113591825A
• 公開（公告）日: 2021-11-02
• 發(fā)明（設計）人: 李慶鵬;李亞萍;李智勇;方樂緣;王子安
• 申請（專利權）人: 湖南大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06T3/40;G06N3/04;G06N3/08
• 代理公司: 深圳市興科達知識產(chǎn)權代理有限公司 44260
• 代理人: 徐民奎

本發(fā)明公開了一種基于超分辨網(wǎng)絡的目標搜索重建方法、裝置及存儲介質(zhì)，該方法創(chuàng)新地將圖像超分辨率重建技術融入目標搜索的框架中。本方法包括以下步驟:將待搜索的視頻幀輸入到目標搜索網(wǎng)絡中進行特征的提取與聚合；利用提取到的特征圖進行目標的框定及分類；計算待搜索目標與框定目標特征的相似度進行目標重識別；利用回歸坐標將重識別的結果裁剪拷貝，并輸入圖像超分辨率模塊，得到超分辨率的目標圖像。本發(fā)明以內(nèi)嵌局部超分辨網(wǎng)絡的方式實現(xiàn)了目標搜索任務與目標超分辨率任務，能獲得更加豐富的邊緣信息和更好的視覺效果，提高監(jiān)控視頻管理者、刑偵人員等在海量監(jiān)控視頻中檢索目標對象的效率。

技術領域

本發(fā)明涉及基于深度學習的端到端無錨圖像目標搜索技術領域，具體涉及一種基于超分辨網(wǎng)絡的目標搜索重建方法、裝置及存儲介質(zhì)。

背景技術

近年來，隨著物聯(lián)網(wǎng)、視頻監(jiān)控、人臉識別等技術的蓬勃發(fā)展，以及監(jiān)控攝像頭的普遍使用和人們對于公共安全日益關心，監(jiān)控視頻信息數(shù)量成爆炸式增長，目標搜索近年來吸引了很多研究工作者的關注。

而當前查詢監(jiān)控視頻的方法往往采用人工方式瀏覽海量視頻，從而找到目標信息，這無疑是一種成本高、效率低的方式。如何利用深度學習的研究成果從海量的監(jiān)控視頻中有效提取目標信息，從而減輕監(jiān)控視頻管理者的工作負擔、減少人力輸出、提高信息獲取效率，更有效地搜尋目標，將是一項非常有前景、有意義的應用問題。

交通監(jiān)控視頻有以下特點：監(jiān)控視頻數(shù)據(jù)量大、目標成像模糊、相似目標數(shù)據(jù)多等。若應用傳統(tǒng)的目標搜索方法，搜索到的結果依然難以分辨，相關的工作人員如監(jiān)控視頻管理者、刑偵人員等在查找目標時，需要在許多模糊的搜索結果中人力篩選目標。在一些特殊環(huán)境如雨天、霧天等氣候條件下，通過人眼分辨目標十分困難。若要提高監(jiān)控視頻的成像質(zhì)量，需要優(yōu)化硬件設施，成本昂貴，代價高。

而圖像質(zhì)量的好壞影響著獲取到信息的準確性，同時也會影響獲取信息量的高低，因此圖像清晰度的高低直接影響到所獲取的圖像信息質(zhì)量。與提高圖像分辨率的硬件方法相比，圖像超分辨率算法成本低、較易實現(xiàn)。圖像超分辨率（Image Super Resolution）是指由一幅低分辨率圖像或圖像序列恢復出高分辨率圖像。圖像超分辨率技術分為超分辨率復原和超分辨率重建。

生成對抗網(wǎng)絡(Generative Adversarial Network, GAN)可以用來解決超分辨率問題。訓練網(wǎng)絡時用均方差作為損失函數(shù)，雖然能夠獲得很高的峰值信噪比，但是恢復出來的圖像通常會丟失高頻細節(jié)，使人不能有好的視覺感受。SRGAN利用感知損失(perceptualloss)和對抗損失(adversarial loss)來提升恢復出的圖片的真實感。感知損失是利用卷積神經(jīng)網(wǎng)絡提取出的特征，通過比較生成圖片經(jīng)過卷積神經(jīng)網(wǎng)絡后的特征和目標圖片經(jīng)過卷積神經(jīng)網(wǎng)絡后的特征的差別，使生成圖片和目標圖片在語義和風格上更相似。

目標搜索任務的目的是同時從輸入圖像中定位和識別查詢目標，這可以看作是目標檢測和目標重識別(ReID)的統(tǒng)一任務。該任務包括了計算機視覺中的兩個基本任務，即目標檢測和目標重識別。

目標檢測（object detection）模型分為無錨（anchor-free）和有錨（anchor-based）兩種。有錨方法就是先生成感興趣區(qū)域，生成大量的錨框，然后進行目標框定，也稱為兩階段的檢測器，與之相比，無錨框架則是一階段的檢測器，它的優(yōu)勢在于結構更加簡單，速度也更快。

目標重識別（ReID）是指對于一個特定的目標（可能是行人、車輛、人臉或者其他特定物體），在候選圖像集中檢索到它。或稱圖像中目標的實例級檢索。行人重識別在視頻監(jiān)控領域有非常重要的應用。

行人搜索是目標搜索領域應用較為廣泛的一個領域。現(xiàn)有的大多數(shù)工作都采用了像Faster-RCNN這樣的兩級探測器，它精度較高但計算開銷也很高。也有一些anchor-free的框架應用在行人搜索任務上，比如AlignPS，是第一個針對這個任務的無錨網(wǎng)絡框架。