[發明專利]基于圖像顯著性檢測的水工復雜場景下人物識別方法

在審

• 申請號: 201910240747.7
• 申請日: 2019-03-27
• 公開（公告）號: CN109977970A
• 公開（公告）日: 2019-07-05
• 發明（設計）人: 孫豐;盧克;馬艷娜
• 申請（專利權）人: 浙江水利水電學院
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 吳秉中;吳偉凱

本發明公開一種基于圖像顯著性檢測的水工復雜場景下人物識別方法，針對部分顯著性物體（人物）檢測模型出現部分區域語義信息缺失的情況提出了一種新的強監督顯著性檢測方法。采用的模型分為兩層，第一層主要采用了多層次的全卷積神經網絡在像素層面上抓取顯著性人物的全局語義信息與局部特征信息，并標注出粗糙的顯著性人物。第二層通過使用短連接引入第一層運行過程中生成的淺層次的顯著性特征，與粗糙顯著圖融合從而獲取被丟失的特征信息，并加強顯著物體的邊界特征。在數據輸入時，選取了原生圖片高光化后的圖片與原生去高光圖片同時作為輸入，設計的模型在網絡上隨機收集獲取的水工復雜場景下的人物數據集上表現優良。

技術領域

本發明涉及計算機視覺領域，主要是針對水工復雜場景下人物的顯著性檢測。

背景技術

在防汛信息化建設日趨重要的時代背景下，在臺風和大潮等天氣，如何預防和及時發現人員非法進入水利工程設施(海塘、水庫、堤防等)在監管上顯得尤為迫切，采用人工查看視頻監控的方式已經大規模普及，但效率和成本有待提高。如能采用自動發現的方式，讓機器來協助工作人員，因此在水工復雜場景下對于人物的目標檢測是非常重要的。這樣的需求行為可以使用人物的顯著性檢測技術滿足。雖然市面上有一些技術可以檢測部分場景中的人物，但是存在以下不足之處：(1)場景不可過于復雜，一旦場景中含有較多的復雜元素，圖片中具有高對比度且占比大的非顯著性物體容易導致檢測失敗；(2)對于檢測到的人物，輪廓不清晰，并且有時十分模糊，丟失部分全局語義信息；(3)現有的部分顯著性檢測模型對于場景中的復雜背景中的元素如水面波光或具有高對比度的山體，無法有效的排除；(4)現有的顯著性檢測模型對于水工場景中拍攝的圖像中存在的與人物距離近且對比度低的雜質元素無法有效的去除或識別；(5)現有的顯著性檢測模型針對實際情況時，得出的結果與現實情況有所偏差。

在觀察了大量的水工復雜場景下的人物圖片，發現這些圖片可以分為以下三類：(1)小物體，即顯著性人物在圖像中與全圖相比，面積占比小于10％，此類圖片數量在整體檢測圖片中占比80％；(2)大物體，即人物在圖像中與全圖相比，占比大于50％，此類圖片較少；(3)復雜背景，即拍攝的圖像中不僅包含了人物主體，還包含江邊堤壩，遠處山體，江岸連接處等次顯著物體。如何解決檢測圖像中的人物，特別是小物體檢測難的問題是急需解決的問題。

發明內容

為了克服上述現有技術的不足，本發明提供了一種基于圖像顯著性檢測的水工復雜場景下人物的識別方法。針對目前大多數人物檢測方法存在的無法有效融合全局語義信息和局部特征信息以及無法有效檢測圖片中存在的噪音，提出了基于多層次短連接的深度融合語義信息模型。可以有效使用局部特征信息減少因為檢測時丟失部分全局語義信息而導致顯著性物體檢測失敗的情況，同時增強顯著性物體的標注，對非顯著性物體的噪音或者大體積的非顯著性物體進行有效的去除。

本發明所采用的技術方案是：采集圖片全局語義信息與局部特征信息，使用多層次短連接模型深度融合兩項信息互相補充，以減少檢測過程中信息缺失的情況。

與現有的技術相比，本發明的有益效果是結合全局語義信息與局部特征信息，減少了在顯著性檢測過程中出現全局語義信息丟失以至于影響最終顯著性結果圖的情況。

附圖說明

圖1是本發明使用的神經網絡模型結構圖；

圖2是像素層面神經網絡流程示意圖；

圖3是像素層面神經網絡規格說明輔助圖；

圖4是原生圖、去高光圖和高光圖對比示意圖。

具體實施方式

下面結合附圖對本發明作進一步說明。

本發明的模型基于Caffe深度學習框架。