[發明專利]基于跨模態筆跡的類協同訓練方法、筆跡比對系統、設備及介質

在審

• 申請號: 202211258873.3
• 申請日: 2022-10-14
• 公開（公告）號: CN115482541A
• 公開（公告）日: 2022-12-16
• 發明（設計）人: 石芳;覃勛輝;劉科
• 申請（專利權）人: 重慶傲雄在線信息技術有限公司
• 主分類號: G06V30/162
• 分類號: G06V30/162;G06V30/19;G06V30/226;G06V30/32;G06V30/168;G06V30/164;G06V30/16
• 代理公司: 重慶華科專利事務所 50123
• 代理人: 康海燕;唐錫嬌

本發明公開一種基于跨模態筆跡的類協同訓練方法、系統、筆跡比對方法及介質，采集紙質版手寫簽名圖像轉化成二值化簽名圖像、電子簽名序列正寫數據及仿寫數據回顯為簽名圖像數據；對齊兩種模態類型的簽名圖像，在通道維度進行拼接構建對應電子?紙質簽名圖像對；對圖像對數據集分為有標簽數據集及無標簽數據集；構建雙塔式網絡結構，對有標簽數據集兩次隨機采樣并依次輸入不同網絡，對無標簽數據集進行單次隨機采樣依次輸入不同網絡，結合交叉網絡輸出的軟標簽對無標簽數據進行像素擾動生成對抗樣本數據，分別輸入對應的非交叉網絡，進行跨模態比對多任務聯合分類訓練；綜合分類結果判別跨模態筆跡簽署人身份。廣泛用于需要進行識別跨模態簽名的場所。

技術領域

本發明涉及計算機信息處理技術領域，具體是一種基于類協同訓練方式的跨模態筆跡比對方法。

背景技術

隨著基于筆跡生物特征識別技術形成的原筆跡簽名產品在金融、政務、司法、公共安全、民生等眾多領域中的廣泛應用，人們對于手寫簽名場景的應用需求也在進一步的擴大，逐漸由單模態的紙質手寫簽名筆跡比對到單模態的電子手寫簽名筆跡比對，直至跨模態的電子--紙質手寫簽名筆跡比對，在這個轉變過程中，簽署人的簽署方式，設備，場景以及數據表現形式均發生了較大的變化，這也給現有的簽名筆跡比對方法帶來了不小的挑戰，本申請就是針對難度較大的跨模態筆跡比對。

在當前時代背景下的實際應用中，以離線紙質手寫簽名圖像作為鑒定留樣，以電子手寫簽名數據作為檢材的應用場景比在線電子手寫簽名序列留樣檢材的情況還要多，因此跨模態簽名數據的比對也是未來趨勢之一，但跨模態簽名數據的比對是非常具有挑戰性的技術難題。眾所周知，由于不同簽署人簽署的簽名筆跡在形態、風格及習慣上的差異分布范圍較廣，即使是同一簽署人在正常狀態下簽署的單模態的紙質或者電子手寫簽名上可能都會產生較大的視覺差異，而跨模態的筆跡簽名在這個基礎上增加了更多的不確定性，即由于簽署媒介及書寫方式等發生的變化，其形態差異相對更明顯，尤其不同簽署人的跨模態書寫差異在一定程度上很難用統一標準進行度量。

公開號：CN111680490A，名稱：一種跨模態的文檔處理方法、裝置及電子設備的中國發明專利申請。獲取第一文檔的文本模態數據及圖像模態數據；基于自然語言處理模型，將文本模態數據轉換為字句特征嵌入向量，并根據文本模態數據提取第一文本要素特征；基于計算機視覺算法，通過目標檢測算法和光學字符識別算法，定位目標位置并識別第一文檔的文本內容，并根據圖像模態數據提取第二文本要素特征，并進行要素對齊，以得到第一文檔的結構特征；然后結合結構特征及文檔的多維特征的嵌入式表示，得到包括表征第一文檔的元知識圖模型。將文檔的文本內容轉換為元知識圖模型，利用圖表示學習模型對所述嵌入式表示進行學習，得到包括表征所述第一文檔的元知識圖模型。涉及的跨模態為語言文本模態與圖像模態，沒有涉及紙質材料轉化成的簽名圖像與電子簽名。

發明內容

本發明針對現有技術跨模態簽名筆跡識別比對存在的上述缺陷并結合實際應用場景，提出了一種基于類協同訓練方式的跨模態筆跡比對方法和比對系統。

根據本申請的一方面，一種基于跨模態筆跡的類協同訓練方法，包括：采集紙質手寫簽名圖像轉化成二值化簽名圖像，獲取電子簽名序列生成正寫電子簽名圖像，通過電子簽名序列數據生成電子簽名仿寫數據，生成仿寫電子簽名圖像；對齊兩種模態類型的簽名圖像，在通道維度進行拼接構建對應電子-紙質簽名圖像對；對電子簽名圖像對進行數據集切分；構建包括有標簽數據集及無標簽數據集的圖像對數據集；構建包括交叉網絡和非交叉網絡雙分支網絡結構的分類骨干網絡，對有標簽數據集兩次隨機采樣并依次輸入兩個分支網絡，對無標簽數據集進行單次隨機采樣輸入兩個分支網絡，結合交叉網絡輸出的軟標簽對無標簽數據進行像素擾動生成對抗樣本數據分別輸入非交叉網絡，進行跨模態比對多任務聯合分類訓練直到分類損失值最小時訓練完成。

進一步優化，生成電子簽名仿寫數據包括：對電子簽名序列進行單字切分制作單字序列字庫，根據對應的電子簽名正寫圖像內容，從字庫中搜索內容一致的單字序列進行簽名拼接再簽名回顯生成電子簽名仿寫圖像數據。