[發明專利]兩階段安全多方計算的圖片文本定位識別方法

有效

• 申請號: 202110488731.5
• 申請日: 2021-05-06
• 公開（公告）號: CN113139534B
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 茹超飛;黃征;郭捷;邱衛東
• 申請（專利權）人: 上海交通大學
• 主分類號: G06V30/14
• 分類號: G06V30/14;G06V30/148;G06V30/19;G06K9/62;G06F21/60;G06F21/62;G06N3/04;G06N3/08
• 代理公司: 上海交達專利事務所 31201
• 代理人: 王毓理;王錫麟

1.一種兩階段安全多方計算的隱私保護圖片文本定位識別方法，其特征在于，包括：

1)用戶基于安全多方計算中的函數秘密分享協議，通過其中的秘密函數加密圖片中的每個像素的信息，將加密后的圖片信息傳輸到云端服務器；

2)云端服務器基于訓練好的單字文字定位模型對圖片信息進行特征提取，得到三個層次的加密的圖片單字定位特征圖，并將加密的圖片單字定位特征圖傳輸回用戶端；

3)用戶在本地利用秘密函數對加密的圖片單字定位特征圖解密，再利用漸進拓展算法從解密特征圖中得到單字文本的像素點位置，計算單字區域最小包圍矩形得到單字文本框坐標；

4)用戶通過對單字文本框坐標的空間距離篩選出同一文本行中順序排列的單字，然后將順序排列的單字利用秘密函數按順序通過秘密函數加密后分別傳輸到云端服務器；

5)云端服務器基于訓練好的單字識別模型對加密后的單字圖片進行單字識別，得到單字識別結果并傳輸回用戶端；

6)用戶在本地利用秘密函數對單字識別結果解密，并按順序排列解密結果即得到文字識別結果；

所述的秘密函數，根據提供服務器的數量將此秘密函數分割成用戶加服務器數量的秘密份額f₁-f_n，該秘密份額函數作為密鑰的一部分，僅當獲得全部秘密份額時才能還原原文的輸入，利用全部秘密份額能夠在不暴露明文的情況下對明文進行計算；

所述的特征提取，具體步驟包括：

①輸入圖片的尺寸為(N，C，H，W)，其中N為訓練用的batchsize，C為圖片通道數，一般為3，H，W是圖片的高和寬；在獲得輸入圖片之后，特征網絡的四個卷積層由低到高提取出圖片四個特征C₂，C₃，C₄，C₅，尺寸大小分別對應原始圖片下采樣的4，8，16，32倍，獲得各種特征輸出后利用兩倍上采樣使特征圖尺寸一致后使用加操作依次進行融合特征操作，P₅特征層通過C₅卷積改變通道數得到；C₄和P₅融合得到P₄，即P₄＝Up(P₅)+C₄；F₄和C₃融合得到P₃，即P₃＝Up(P₄)+C₃，P₃和C₂融合得到P₂，即F₂＝Up(P₃)+C₂；最后將這三層融合后的特征再次上采樣融合得到輸出的單字外輪廓、內輪廓與單字中心三個層次的特征F_char1，F_char2和F_char3，即加密的圖片單字定位特征圖(F_char1，F_char2，F_char3)＝(P₂+Up(P₃)+Up(Up(P₄))+Up(Up(Up(P₅))))；輸出特征圖尺寸為(3，H/4，W/4)；特征圖矩陣每個位置的值為此像素為單字的概率；

②得到圖片特征圖后首先采取線性雙插值的上采樣算法將特征圖尺寸擴大四倍到圖片原尺寸，第一張外輪廓特征圖為單字最小外接矩形的對應區域，第二張內輪廓特征圖為單字最小外接矩形縮小0.7倍的對應區域，第三張單字中心特征圖為單字最小外接矩形縮小0.5倍的對應區域，用來確定文字中心；將這些特征圖中每一個值通過sigmoid函數映射到0-1，映射后的值為此像素點為相應特征的概率，概率超過閾值的像素點被認為是相應的特征，取值為1，低于閾值的像素點取值為0，至此可以得到三張與原圖尺寸相同的0-1二值圖，分別對應相應單字外輪廓、內輪廓與單字中心的像素點；將確定的單字中心的連通區域利用寬度優先搜索BFS拓展到內輪廓的邊界，隨后將得到的內輪廓邊界搜索并拓展到外輪廓邊界；此時外輪廓中所有的像素點即為文字的區域，此連通區域的最小外接矩形即為單字的定位框。