[發明專利]基于跨模態筆跡的類協同訓練方法、筆跡比對系統、設備及介質

在審

• 申請號: 202211258873.3
• 申請日: 2022-10-14
• 公開（公告）號: CN115482541A
• 公開（公告）日: 2022-12-16
• 發明（設計）人: 石芳;覃勛輝;劉科
• 申請（專利權）人: 重慶傲雄在線信息技術有限公司
• 主分類號: G06V30/162
• 分類號: G06V30/162;G06V30/19;G06V30/226;G06V30/32;G06V30/168;G06V30/164;G06V30/16
• 代理公司: 重慶華科專利事務所 50123
• 代理人: 康海燕;唐錫嬌

1.一種基于跨模態筆跡的類協同訓練方法，其特征在于，包括：采集紙質手寫簽名圖像轉化成二值化簽名圖像，獲取電子簽名序列生成正寫電子簽名圖像，通過電子簽名序列生成電子簽名仿寫數據，獲得仿寫電子簽名圖像；對齊兩種模態類型的簽名圖像，在通道維度進行拼接構建對應電子-紙質簽名圖像對；對電子-紙質簽名圖像對進行數據集切分；構建包括有標簽數據集及無標簽數據集的圖像對數據集；構建包括交叉網絡和非交叉網絡雙分支網絡結構的分類骨干網絡，對有標簽數據集兩次隨機采樣并依次輸入兩個分支網絡，對無標簽數據集進行單次隨機采樣輸入兩個分支網絡，結合交叉網絡輸出的軟標簽對無標簽數據進行像素擾動生成對抗樣本數據分別輸入非交叉網絡，進行跨模態比對多任務聯合分類訓練直到分類損失值最小時訓練完成。

2.如權利要求1所述的類協同訓練方法，其特征在于，生成仿寫電子簽名圖像數據包括：對電子簽名序列進行單字切分制作單字序列字庫，根據對應的正寫電子簽名圖像內容，從字庫中搜索內容一致的單字序列進行簽名拼接再簽名回顯生成對應仿寫電子簽名圖像。

3.如權利要求1所述的類協同訓練方法，其特征在于，生成仿寫電子簽名圖像數據包括：根據對應的正寫電子簽名序列，對其中部分筆畫數據序列進行擾動后進行簽名回顯生成仿寫電子簽名圖像。

4.如權利要求1所述的類協同訓練方法，其特征在于，對齊兩種模態類型的簽名圖像包括：紙質手寫二值化簽名圖像及電子簽名圖像包括在粗細，尺度以及空間位置上對齊，對紙質手寫二值化簽名圖像采用膨脹及腐蝕以及野點去除獲得尺度與電子簽名尺度相同的二值化簽名圖像；通過仿射變化操作改善紙質手寫二值化簽名角度，參考對應電子簽名的字間距調整紙質二值化簽名中的最大最小字間距，根據像素邊界框體進行中心化操作，使得紙質手寫二值化簽名處在圖像中心位置，同時進行縮放操作至固定尺寸；采用骨架細化處理，使兩種模態簽名圖像筆畫粗細相同。

5.如權利要求1-4其中之一所述的類協同訓練方法，其特征在于，對簽名圖像對進行數據集切分，得到標簽數據集D和無標簽數據樣本集U，將標簽數據樣本集D劃分為第一標簽數據子集d1和第二標簽數據子集d2，分別送入分類骨干網絡中的第一分支網絡n1和第二分支網絡n2，無標簽數據集U通過像素擾動對抗樣本生成多個無標簽子集同時輸入第一分支網絡和第二分支網絡，分類骨干網絡對有標簽數據樣本集、無標簽數據樣本集進行分類，也為無標簽對抗樣本賦予標簽，并確定跨模態數據的聯合分類訓練損失。

6.如權利要求5所述的類協同訓練方法，其特征在于，所述對有標簽數據樣本集D、無標簽數據樣本集U進行分類包括：對D進行批采樣得到數據子集d1與d2，將數據子集d1與d2分別輸入子網絡n1與n2，子網絡n1與n2分別輸出數據子集d1與d2對應的分類結果標記為logit_n1_d1、logit_n1_d2，根據logit_n2_d1、logit_n2_d2以及與d1、d2的對應標簽采用交叉熵分類損失分別計算求和得到對應有標簽數據損失loss_d，對U進行批采樣得到數據子集u1, 將數據子集u1同時輸入網絡n1與n2，分別輸出數據子集u1對應的分類結果標記為logit_n1_u1，logit_n2_u1；對數據子集u1進行兩次擾動對抗樣本生成，生成對應的第一無標簽對抗樣本G_n1_u1與第二無標簽對抗樣本G_n2_u1，將第一、第二無標簽對抗樣本分別輸入子網絡n1與n2，n1、n2輸出的分類結果作為標簽分別賦予上述兩個無標簽對抗樣本。