[發明專利]基于深度玻爾茲曼機的協同目標分割與行為識別方法

有效

• 申請號: 201610878504.2
• 申請日: 2016-10-09
• 公開（公告）號: CN106599901B
• 公開（公告）日: 2019-06-07
• 發明（設計）人: 陳飛;曾勛勛;王燦輝
• 申請（專利權）人: 福州大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06T7/11
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 蔡學俊

本發明涉及一種基于深度玻爾茲曼機的協同目標分割與行為識別方法。該方法，首先利用深度玻爾茲曼機從目標行為訓練庫中學習行為與動作的多層結構特征，接著以底層圖像分割為出發點，根據貝葉斯推理，將目標分割看作最大化條件概率，然后在學習得到的高層先驗行為指導下，采用目標形狀信息作為底層、中層和高層連接的紐帶，并建立總的能量函數，最后通過能量極小化完成目標的同時分割與行為識別。本發明利用底層與高層的協同合作可以同時提高目標分割的精度和行為識別的準確性，解決了在低質量環境下由于噪聲、遮擋、光照等多種因素影響下分割效果不佳的問題。

技術領域

本發明涉及計算機視覺技術領域，特別是一種基于深度玻爾茲曼機的協同目標分割與行為識別方法。

背景技術

人類可以在混亂的場景中實現目標的分割、識別和行為理解，但這對于計算機視覺系統卻是一個嚴峻的挑戰。主要原因之一是目標的分割、識別和行為理解分別處于圖像抽象的底層、中層和高層。處于底層的分割是從圖像的數據信息中提取出人們感興趣的目標，而中層和高層的任務則是根據先驗信息識別圖像目標，并根據上下文信息分析和理解目標行為。近年來的許多研究表明，目標行為推理過程應該包含目標分割與識別問題，準確的目標分割可以提供完整的目標特征信息供高層分析，而且分割與識別是相互作用同時進行。通過結合高層的先驗知識，自上而下來輔助圖像分割就變得尤為重要。對于識別和分析熟悉的目標行為，利用目標的先驗形狀是一種有效的方法。F.Lecumberry等人將多類的先驗形狀以高階多模板方式嵌入水平集函數實現同時目標分割與分類。C.Yuan等人通過稀疏字典學習行為特征的方法，結合信息最大化原理實現行為識別。M.Cheng等人把低維流形的學習與動態HMMs模型的訓練有機地結合在一起，用于人體姿態估計。L.Gui等人提出基于水平集分割和HMMs相結合的實現從下而上與從上而下的協同推理方法。當面對大量的樣本數據，這類方法存在分割精度低，識別穩定性弱等不足，同時由于各種干擾因素的存在，比如噪聲、遮擋、背景混亂等，使得這類問題更具有挑戰性。

發明內容

本發明的目的在于提供一種克服上述現有技術不足的基于深度玻爾茲曼機的協同目標分割與行為識別方法。

為實現上述目的，本發明的技術方案是：一種基于深度玻爾茲曼機的協同目標分割與行為識別方法，按以下步驟實現：

步驟S1：建立目標的先驗行為訓練庫S，記為S＝{(Q₁,l₁),(Q₂,l₂),…,(Q_n,l_n)}；其中，n為樣本個數，Q為目標的行為，l為行為的標記；一個目標行為由T個連續形狀構成，即Q＝{q₁,…,q_T}；形狀q采用概率的方式定義，q:Ω→[0,1]，其中Ω為圖像的定義域，任意x∈Ω，q(x)表示x屬于形狀的概率；定義Ω中q(x)≥0.5的區域為目標區域，剩余區域為背景區域；假設目標的行為分為K類，用K維向量表示，記為l＝(l₁；l₂；…；l_K)；

步驟S2：利用深度玻爾茲曼機對目標行為訓練庫構建學習模型，其中最底層是目標的多張形狀，最高層是行為標簽；為相應形狀q₁,…,q_T的第一隱含層表示，h²為行為的隱含層表示；通過隱含層構建底層與高層的協同合作；令為學習模型的參數，其中表示q_i與之間的權值，W²與W³分別表示與h²、h²與l之間的權值，a²、a³和b_i分別為h²、l和q_i所在層的偏值；標簽層采用softmax分類方法，訓練模型的能量方程定義為