[發明專利]基于深度玻爾茲曼機的協同目標分割與行為識別方法

有效

• 申請號: 201610878504.2
• 申請日: 2016-10-09
• 公開（公告）號: CN106599901B
• 公開（公告）日: 2019-06-07
• 發明（設計）人: 陳飛;曾勛勛;王燦輝
• 申請（專利權）人: 福州大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06T7/11
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 蔡學俊

1.一種基于深度玻爾茲曼機的協同目標分割與行為識別方法，其特征在于：按以下步驟實現：

步驟S1：建立目標的先驗行為訓練庫S，記為S＝{(Q₁,l₁),(Q₂,l₂),…,(Q_n,l_n)}；其中，n為樣本個數，Q為目標的行為，l為行為的標記；一個目標行為由T個連續形狀構成，即Q＝{q₁,…,q_T}；形狀q采用概率的方式定義，q:Ω→[0,1]，其中Ω為圖像的定義域，任意x∈Ω，q(x)表示x屬于形狀的概率；定義Ω中q(x)≥0.5的區域為目標區域，剩余區域為背景區域；假設目標的行為分為K類，用K維向量表示，記為l＝(l₁；l₂；…；l_K)；

步驟S2：利用深度玻爾茲曼機對目標行為訓練庫構建學習模型，其中最底層是目標的多張形狀，最高層是行為標簽；為相應形狀q₁,…,q_T的第一隱含層表示，h²為行為的隱含層表示；通過隱含層構建底層與高層的協同合作；令為學習模型的參數，其中表示q_i與之間的權值，W²與W³分別表示與h²、h²與l之間的權值，a²、a³和b_i分別為h²、l和q_i所在層的偏值；標簽層采用softmax分類方法，訓練模型的能量方程定義為

步驟S3：以底層多張圖像分割為出發點，根據貝葉斯推理，將目標分割看作最大化條件概率P(q₁,…,q_T|I₁,…,I_T)，即從給定的多張圖像I₁,…,I_T中估計出最佳的目標形狀向量q₁,…,q_T；假設多張圖像之間相互獨立，利用貝葉斯推理可得

最大化條件概率轉換為最小化

上式右邊第一項稱為先驗形狀約束項，記為E_s(q₁,…,q_T)＝-logP(q₁,…,q_T)，第二項為數據項

步驟S4：根據非參數灰度模型，計算數據項E_d(q₁,…,q_T)；假設每張圖像中像素之間是相互獨立的；從圖像I_t中估計形狀q_t，表示為

logP(I_t|q_t)＝∫_Ωq_tlogP_in(I_t)+(1-q_t)logP_out(I_t)dx

上式q_t表示目標形狀，1-q_t表示背景；概率P_in(I_t(x))表示每個像素點屬于目標的概率，P_out(I_t(x))表示每個像素點屬于背景的概率；以一維方式表示I_t∈R^m×1和q_t∈R^m×1，m為圖像的像素點個數，記那么，

通常待分割的目標在不同圖像中會呈現不同的姿態，引入循環移位的思想解決分割過程中目標出現的形變；

步驟S5：由于目標行為的各個動作之間存在相關性，假設服從玻爾茲曼分布P(q₁,…,q_T)∝exp(-E_DBM(q₁,…,q_T))，那么

E_s(q₁,…,q_T)＝-logP(q₁,…,q_T)＝E_DBM(q₁,…,q_T)

采用目標形狀信息作為底層、中層和高層連接的紐帶，利用深度玻爾茲曼機學習得到的模型作為高層先驗項，合并底層數據項得到總的計算模型

步驟S6：以上模型包含四類未知參數，采用交替迭代和近似推理的方法求解，具體求解方程如下：

(1)

(2)

(3)

(4)

(5)

2.根據權利要求1所述的一種基于深度玻爾茲曼機的協同目標分割與行為識別方法，其特征在于：所述步驟S4中，引入循環移位的思想解決分割過程中目標出現的形變，具體方式為：假設q_t為先驗形狀，為位移循環元，循環移位用卷積表示，采用來表示目標的形狀，解決目標位移對齊問題；同理，將形狀的直角坐標轉換為極坐標，坐標變換記為Γ，為旋轉循環元，在極坐標下用循環移位來表示目標形狀解決目標旋轉對齊問題。