[發(fā)明專利]圖片中文字的結構化信息生成方法、裝置、設備及介質

在審

• 申請?zhí)枺?/td>: 202010457865.6
• 申請日: 2020-05-25
• 公開（公告）號: CN111598093A
• 公開（公告）日: 2020-08-28
• 發(fā)明（設計）人: 張杰;鄒雨晗;徐倩
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/46;G06N3/04
• 代理公司: 深圳市世紀恒程知識產(chǎn)權代理事務所 44287
• 代理人: 薛福玲

1.一種圖片中文字的結構化信息生成方法，其特征在于，所述圖片中文字的結構化信息生成方法包括以下步驟：

將待處理圖片傳輸?shù)綑z測模型，生成多個包含文字的子圖片，并基于識別模型，將多個所述子圖片構造為圖結構，其中一個子圖片對應所述圖結構中的一個圖節(jié)點；

根據(jù)所述識別模型，生成所述圖結構中每個圖節(jié)點的特征向量，并將所述圖結構中所有圖節(jié)點的特征向量生成為所述圖結構的特征矩陣；

根據(jù)圖卷積神經(jīng)網(wǎng)絡，對所述特征矩陣和所述圖結構的鄰接矩陣進行處理，生成所述待處理圖片中文字的結構化信息。

2.如權利要求1所述的圖片中文字的結構化信息生成方法，其特征在于，所述基于識別模型，將多個所述子圖片構造為圖結構的步驟包括：

基于所述識別模型對每個所述子圖片的位置坐標進行計算，獲得每個所述子圖片的中心點，并針對每個所述子圖片執(zhí)行以下步驟：

計算所述子圖片的中心點分別與其他子圖片的中心點之間的距離；

根據(jù)各所述距離之間的大小關系，從其他子圖片中確定出與所述子圖片具有鄰近關系的目標子圖片；

在確定出與各個所述子圖片分別具有鄰近關系的目標子圖片后，對所有所述目標子圖片的中心點進行連接，形成所述圖結構。

3.如權利要求1所述的圖片中文字的結構化信息生成方法，其特征在于，所述根據(jù)圖卷積神經(jīng)網(wǎng)絡，對所述特征矩陣和所述圖結構的鄰接矩陣進行處理，生成所述待處理圖片中文字的結構化信息的步驟包括：

根據(jù)所述圖結構中各圖節(jié)點之間的鄰近關系，確定所述圖結構的鄰接矩陣，以及所述鄰接矩陣中各矩陣行的鄰近權重；

調用圖卷積神經(jīng)網(wǎng)絡，對所述特征矩陣和所述鄰接矩陣基于所述鄰近權重進行卷積處理，生成所述圖結構的結果表示矩陣；

根據(jù)所述結果表示矩陣，生成所述待處理圖片中文字的結構化信息。

4.如權利要求3所述的圖片中文字的結構化信息生成方法，其特征在于，所述對所述特征矩陣和所述鄰接矩陣基于所述鄰近權重進行卷積處理，生成所述圖結構的結果表示矩陣的步驟包括：

根據(jù)所述鄰近權重，對所述特征矩陣和所述鄰接矩陣進行權重運算，生成中間矩陣；

根據(jù)所述圖卷積神經(jīng)網(wǎng)絡的層權重，對所述中間矩陣進行線性降維，生成降維矩陣；

根據(jù)所述圖卷積神經(jīng)網(wǎng)絡的激活函數(shù)，對所述降維矩陣進行非線性處理，生成新的特征矩陣，完成在所述圖卷積神經(jīng)網(wǎng)絡中一個網(wǎng)絡層的卷積處理；

將新的特征矩陣傳輸?shù)綀D卷積神經(jīng)網(wǎng)絡中下一個網(wǎng)絡層進行卷積處理，直到完成在圖卷積神經(jīng)網(wǎng)絡中各網(wǎng)絡層的卷積處理，生成卷積矩陣；

在根據(jù)圖卷積神經(jīng)網(wǎng)絡的預設函數(shù)，確定所述卷積矩陣中每個矩陣行所包含數(shù)值中的最大值后，將所述卷積矩陣確定為所述圖結構的結果表示矩陣。

5.如權利要求3所述的圖片中文字的結構化信息生成方法，其特征在于，所述根據(jù)所述結果表示矩陣，生成所述待處理圖片中文字的結構化信息的步驟包括：

根據(jù)所述結果表示矩陣中每個矩陣行所包含數(shù)值中的最大值，預測與各所述圖節(jié)點對應的要素標簽；

獲取與各所述圖節(jié)點分別對應的子圖片中的文字信息，并根據(jù)各所述要素標簽和各所述文字信息，生成標簽文字對，以得到所述待處理圖片中文字的結構化信息。

6.如權利要求1-5任一項所述的圖片中文字的結構化信息生成方法，其特征在于，所述根據(jù)所述識別模型，生成所述圖結構中每個圖節(jié)點的特征向量的步驟包括：

根據(jù)所述識別模型，對每個所述子圖片中的文字進行識別，得到每個所述子圖片的文字表示向量；

根據(jù)每個所述子圖片的文字表示向量，以及每個所述子圖片中的文字在所述識別模型中的隱層表示向量，生成所述圖結構中每個圖節(jié)點的特征向量。