[發明專利]一種基于星形生成對抗網絡的步態圖像合成方法

有效

• 申請號: 202010780459.3
• 申請日: 2020-08-05
• 公開（公告）號: CN112115771B
• 公開（公告）日: 2022-04-01
• 發明（設計）人: 翁健;陳欣
• 申請（專利權）人: 暨南大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/774;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 詹麗紅

1.一種基于星形生成對抗網絡的步態圖像合成方法，其特征在于，所述的步態圖像合成方法包括以下步驟：

S1、使用卷積層、BN層、Relu層和池化層構建基于編碼-解碼結構的圖像生成器，用于生成不同類型的步態圖像；

S2、使用卷積層、BN層、Relu層和池化層構建圖像判別器，用于對合成的假步態圖像與真實步態圖像進行判別，并對合成的假步態圖像進行視角分類；

S3、基于生成器輸出的假步態圖像設計損失函數其中表示對抗損失函數、表示域分類損失函數，表示重構損失函數，三類損失函數的計算方法如下：

假設真實步態樣本為X，生成器生成的步態假樣本為Y，則對抗損失函數的表達式為：

其中logD(X)表示將真實步態樣本X輸入判別器D后得到的輸出值的對數值，表示logD(X)在真實步態樣本X的整體分布上的均值，G(X,v_t)表示生成器合成的在目標域為v_t時的步態假樣本，D(G(X,v_t))表示將假樣本G(X,v_t)輸入判別器D后得到的輸出值，當X取不同的步態樣本時，會生成在目標域v_t下的不同的假步態圖像G(X,v_t)，表示當X取不同的步態樣本、v_t為不同的目標域時得到的所有log(1-D(G(X,v_t)))的均值；

域分類損失函數的表達式為：

其中D_view(v_t|X)表示將真實步態樣本X輸入域判別器D_view時，域判別器D_view將X分類為目標域v_t的概率，表示當X取不同的步態樣本、v_t取不同的目標域時得到的所有概率對數值logD_view(v_t|X)的均值，D_view(v_t|G(X,v_t))表示將假步態圖像G(X,v_t)輸入域判別器D_view時，D_view將G(X,v_t)分類為目標域v_t的概率，表示當X取不同的步態樣本、v_t取不同的目標域時得到的所有概率對數值-logD_view(v_t|G(X,v_t))的均值；

重構損失函數的表達式為：

其中G(X,v_t)表示將真實步態樣本X輸入生成器G后，G合成的在目標域為v_t時的步態假樣本，G(G(X,v_t),v)表示將假樣本G(X,v_t)輸入生成器G后，G合成的在源域v上的步態假樣本，即重構樣本，其中源域v表示真實步態樣本X所對應的域，||X-G(G(X,v_t),v)||₁表示真實步態樣本與重構樣本之間差值的L1范數，表示當X取不同的步態樣本、目標域v_t和源域v取不同的值時得到的所有L1范數||X-G(G(X,v_t),v)||₁的均值；

S4、獲取不同域下的步態樣本作為訓練數據，依次將每一個域內的步態樣本和待生成步態樣本的目標域標簽作為輸入，將目標域內的步態樣本作為輸出，通過Adam優化算法對星形生成對抗網絡進行訓練，目標域的標簽用由0、1組成的向量表示，假設目標域總數為O，則第α個目標域的標簽用向量表示；

S5、將真實步態樣本X和目標域標簽t_label輸入經步驟S4訓練后的星形生成對抗網絡，訓練后的星形生成對抗網絡的生成器G生成該目標域內的步態假樣本，通過使t_label取不同值，即可得到不同域內的步態假樣本；

S6、使用N個、神經元數目為n_e的全連接層依次連接構造分布對齊網絡，用于對真實步態樣本和步態假樣本進行分布對齊，其中N∈{3,4,6}，n_e∈{256,512,1024}；

S7、基于同一個目標的真實步態樣本與合成步態假樣本的預計最大平均差設計損失函數，假設真實步態樣本的集合為表示第l個真實樣本，表示第l個真實樣本對應的身份標簽，n表示真實步態樣本數量，合成步態假樣本的集合為表示第s個合成步態假樣本，表示第s個合成步態假樣本對應的身份標簽，m表示假步態樣本數量，兩個集合的標簽集合滿足則分布對齊的表達式為：

其中η∈[0，1]表示用于平衡邊緣分布P和條件分布Q的自適應因子，c∈{1,...,C}表示目標的身份標簽，P_r表示真實步態樣本的邊緣分布，P_f表示合成步態假樣本的邊緣分布，Q_r表示真實步態樣本的條件分布，Q_f表示合成步態假樣本的條件分布，D_F(P_r,P_f)表示邊緣分布對齊表達式，表示目標c的條件分布對齊表達式，將真實步態樣本與合成步態假樣本之間的分布差異通過預測最大平均差表示，則分布對齊表達式寫為：

其中表示希爾伯特空間，F(·)表示分布對齊網絡，x_r表示由真實步態樣本拼接形成的矩陣，表示對將x_r輸入分布對齊網絡F(·)后得到的輸出值求均值，x_f表示由假步態樣本拼接形成的矩陣，表示對將x_f輸入分布對齊網絡F(·)后得到的輸出值求均值，表示由目標c的真實步態樣本拼接形成的矩陣，表示對將輸入分布對齊網絡F(·)后得到的輸出值求均值，表示由目標c的假步態樣本拼接形成的矩陣，表示對將輸入分布對齊網絡F(·)后得到的輸出值求均值；根據表示定理，將分布對齊表達式寫為：

其中tr(·)表示求矩陣的跡，F∈R^(n+m)×d表示由每個樣本拼接而成的矩陣，在該矩陣中，每一行表示一個樣本x，d表示一個樣本的維度，而矩陣則用于計算不同樣本之間的分布差異，其中M₀用于計算所有真實步態樣本的總體分布與所有合成步態假樣本的總體分布之間的差異，M_c用于計算對應于目標c的真實步態樣本的總體分布與合成步態假樣本的總體分布之間的差異，η∈[0，1]表示用于平衡邊緣分布P和條件分布Q的自適應因，將矩陣M₀的第i行第j列的元素定義為(M₀)_ij，矩陣M_c的第i行第j列的元素定義為(M_c)_ij，則(M₀)_ij和(M_c)_ij的計算方法如下：

其中x_i和x_j分別表示特征矩陣F中第i行和第j行的樣本，n和m表示真實樣本和假樣本的數量，n_c和m_c表示目標c對應的真實樣本和假樣本的數量，分布對齊網絡的訓練則通過最小化損失函數的輸出值來實現；依據該損失函數對步驟S6中構造的分布對齊網絡進行訓練，訓練完成后，將同一個目標的真實樣本與步態假樣本輸入分布對齊網絡，得到完成分布對齊后的真實步態樣本與步態假樣本；

S8、將同一個目標的、經分布對齊后的真實步態樣本與步態假樣本按照不同的域進行融合，即將域k下的真實步態樣本與域k下的步態假樣本合并到一起，從而實現步態數據庫的擴充。