[發明專利]兩階段安全多方計算的圖片文本定位識別方法

有效

• 申請號: 202110488731.5
• 申請日: 2021-05-06
• 公開（公告）號: CN113139534B
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 茹超飛;黃征;郭捷;邱衛東
• 申請（專利權）人: 上海交通大學
• 主分類號: G06V30/14
• 分類號: G06V30/14;G06V30/148;G06V30/19;G06K9/62;G06F21/60;G06F21/62;G06N3/04;G06N3/08
• 代理公司: 上海交達專利事務所 31201
• 代理人: 王毓理;王錫麟

一種兩階段安全多方計算的隱私保護圖片文本定位識別方法，對圖片的文字定位與識別方案均不涉及明文傳輸，圖片信息及用戶端與客戶端之間的傳輸內容都是通過安全多方計算加密的，達到了圖片隱私保護的要求，服務可靠，安全性高。本發明將加密文字定位和識別網絡服務分離，提出了適用于安全多方計算框架的基于分割的單字定位和全卷積單字識別網絡，可以分別提供加密單字定位與單字識別服務。

技術領域

本發明涉及的是一種圖像處理領域的技術，具體是一種基于兩階段安全多方計算的隱私保護圖片文本定位識別方法，特別涉及在不泄露真實圖片信息的情況下，利用安全多方計算技術實現圖片的單字定位與識別的方法。

背景技術

目前提供圖像文字定位識別算法的云服務大多需要真實的圖像信息，用戶在接受此類服務時，往往需要將真實圖像提供給服務器端，無法滿足隱私保護需求。以安全多方計算為代表的隱私計算技術在保護數據本身不對外泄露的基礎上實現多方參與的計算任務，解決數據流通中的可用性與隱私性之間的矛盾，重視數據的所有權和安全處理，進而在保護圖片隱私性的情況下實現圖片信息的可用性。安全多方計算協議允許多個參與者通過使用同態加密、秘密共享和不經意傳輸等加密技術，在不實際共享輸入的基礎上對數據進行聚合計算。安全多方計算的研究主要是針對無可信第三方的情況下，如何安全地計算一個約定函數的問題。

發明內容

本發明針對現有技術存在的上述不足，提出一種兩階段安全多方計算的隱私保護圖片文本定位識別方法，基于安全多方計算方案實現加密的圖片單字定位及識別。不同于普通的文字識別工作，充分保護了用戶的隱私安全。本發明基于安全多方計算方案的技術手段。

本發明是通過以下技術方案實現的：

本發明涉及一種兩階段安全多方計算的隱私保護圖片文本定位識別方法，包括：

1)用戶基于安全多方計算中的函數秘密分享協議，通過其中的秘密函數加密圖片中的每個像素的信息，將加密后的圖片信息傳輸到云端服務器；

2)云端服務器基于訓練好的單字文字定位模型對圖片信息進行特征提取，得到三個層次的加密的圖片單字定位特征圖，并將加密的圖片單字定位特征圖傳輸回用戶端；

3)用戶在本地利用秘密函數對加密的圖片單字定位特征圖解密，再利用漸進拓展算法從解密特征圖中得到單字文本的像素點位置，計算單字區域最小包圍矩形得到單字文本框坐標；

4)用戶通過對單字文本框坐標的空間距離篩選出同一文本行中順序排列的單字，然后將順序排列的單字利用秘密函數按順序通過秘密函數加密后分別傳輸到云端服務器；

5)云端服務器基于訓練好的單字識別模型對加密后的單字圖片進行單字識別，得到單字識別結果并傳輸回用戶端；

6)用戶在本地利用秘密函數對單字識別結果解密，并按順序排列解密結果即得到文字識別結果。

所述的秘密函數f，根據提供服務器的數量將此秘密函數分割成用戶加服務器數量的秘密份額f₁-f_n，該秘密份額函數作為密鑰的一部分，僅當獲得全部秘密份額時才能還原原文的輸入，利用全部秘密份額能夠在不暴露明文的情況下對明文進行計算，從而實現加密的卷積、池化、激活函數操作。

步驟1中所述的加密是指：利用秘密份額f₁對圖片P的逐像素進行加密，同時服務器擁有秘密份額f₂能夠對加密后的E_k(P)進行計算。在服務器和用戶進行通信計算，特征圖提取可以看作是一系列連續的函數，因此特征提取網絡的計算可以通過秘密函數的計算替代，隨后服務器計算得到加密的特征圖E_k(F_char)傳輸回用戶端；對應的解密是指：用戶端擁有全部的秘密份額能夠解密復原F_char，在本地恢復單字定位特征圖。