[發(fā)明專利]圖片中文字的結(jié)構(gòu)化信息生成方法、裝置、設(shè)備及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010457865.6
• 申請日: 2020-05-25
• 公開（公告）號: CN111598093A
• 公開（公告）日: 2020-08-28
• 發(fā)明（設(shè)計(jì)）人: 張杰;鄒雨晗;徐倩
• 申請（專利權(quán)）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/46;G06N3/04
• 代理公司: 深圳市世紀(jì)恒程知識產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 薛福玲

本發(fā)明公開了一種圖片中文字的結(jié)構(gòu)化信息生成方法、裝置、設(shè)備及介質(zhì)，該方法包括：將待處理圖片傳輸?shù)綑z測模型，生成多個(gè)包含文字的子圖片，并基于識別模型，將多個(gè)子圖片構(gòu)造為圖結(jié)構(gòu)，其中一個(gè)子圖片對應(yīng)圖結(jié)構(gòu)中的一個(gè)圖節(jié)點(diǎn)；根據(jù)識別模型，生成圖結(jié)構(gòu)中每個(gè)圖節(jié)點(diǎn)的特征向量，并將圖結(jié)構(gòu)中所有圖節(jié)點(diǎn)的特征向量生成為圖結(jié)構(gòu)的特征矩陣；根據(jù)圖卷積神經(jīng)網(wǎng)絡(luò)，對特征矩陣和圖結(jié)構(gòu)的鄰接矩陣進(jìn)行處理，生成待處理圖片中文字的結(jié)構(gòu)化信息。本發(fā)明通過將包含文字的子圖片構(gòu)建為圖結(jié)構(gòu)，由圖卷積神經(jīng)網(wǎng)絡(luò)模型來對圖結(jié)構(gòu)的特征矩陣和鄰接矩陣進(jìn)行處理，得到待處理圖片中文件的結(jié)構(gòu)化信息，確保了所生成結(jié)構(gòu)化信息的準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明涉及金融科技(Fintech)技術(shù)領(lǐng)域，尤其涉及一種圖片中文字的結(jié)構(gòu)化信息生成方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)

隨著金融科技(Fintech)，尤其是互聯(lián)網(wǎng)科技金融的不斷發(fā)展，越來越多的技術(shù)(如人工智能、大數(shù)據(jù)、云存儲、圖片中文字的結(jié)構(gòu)化信息生成等)應(yīng)用在金融領(lǐng)域，但金融領(lǐng)域也對各類技術(shù)提出了更高的要求，如要求準(zhǔn)確識別證件圖片中的文字，形成結(jié)構(gòu)化信息等。

當(dāng)前證件圖片的結(jié)構(gòu)化常常采用一系列規(guī)則來處理實(shí)現(xiàn)，并且不同類型的結(jié)構(gòu)化任務(wù)需要制定不同的規(guī)則集，而規(guī)則集中的一系列規(guī)則具有瑣碎而繁雜的特性，在制定過程中容易因瑣碎繁雜而遺漏，如此一來，導(dǎo)致了經(jīng)規(guī)則處理得到的證件圖片中文字的結(jié)構(gòu)化信息不準(zhǔn)確。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于提供一種圖片中文字的結(jié)構(gòu)化信息生成方法、裝置、設(shè)備及介質(zhì)，旨在解決現(xiàn)有技術(shù)中由一系列規(guī)則處理所得到的證件圖片中文字的結(jié)構(gòu)化信息不準(zhǔn)確的技術(shù)問題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供一種圖片中文字的結(jié)構(gòu)化信息生成方法，所述圖片中文字的結(jié)構(gòu)化信息生成方法包括以下步驟：

將待處理圖片傳輸?shù)綑z測模型，生成多個(gè)包含文字的子圖片，并基于識別模型，將多個(gè)所述子圖片構(gòu)造為圖結(jié)構(gòu)，其中一個(gè)子圖片對應(yīng)所述圖結(jié)構(gòu)中的一個(gè)圖節(jié)點(diǎn)；

根據(jù)所述識別模型，生成所述圖結(jié)構(gòu)中每個(gè)圖節(jié)點(diǎn)的特征向量，并將所述圖結(jié)構(gòu)中所有圖節(jié)點(diǎn)的特征向量生成為所述圖結(jié)構(gòu)的特征矩陣；

根據(jù)圖卷積神經(jīng)網(wǎng)絡(luò)，對所述特征矩陣和所述圖結(jié)構(gòu)的鄰接矩陣進(jìn)行處理，生成所述待處理圖片中文字的結(jié)構(gòu)化信息。

可選地，所述基于識別模型，將多個(gè)所述子圖片構(gòu)造為圖結(jié)構(gòu)的步驟包括：

基于所述識別模型對每個(gè)所述子圖片的位置坐標(biāo)進(jìn)行計(jì)算，獲得每個(gè)所述子圖片的中心點(diǎn)，并針對每個(gè)所述子圖片執(zhí)行以下步驟：

計(jì)算所述子圖片的中心點(diǎn)分別與其他子圖片的中心點(diǎn)之間的距離；

根據(jù)各所述距離之間的大小關(guān)系，從其他子圖片中確定出與所述子圖片具有鄰近關(guān)系的目標(biāo)子圖片；

在確定出與各個(gè)所述子圖片分別具有鄰近關(guān)系的目標(biāo)子圖片后，對所有所述目標(biāo)子圖片的中心點(diǎn)進(jìn)行連接，形成所述圖結(jié)構(gòu)。

可選地，所述根據(jù)圖卷積神經(jīng)網(wǎng)絡(luò)，對所述特征矩陣和所述圖結(jié)構(gòu)的鄰接矩陣進(jìn)行處理，生成所述待處理圖片中文字的結(jié)構(gòu)化信息的步驟包括：

根據(jù)所述圖結(jié)構(gòu)中各圖節(jié)點(diǎn)之間的鄰近關(guān)系，確定所述圖結(jié)構(gòu)的鄰接矩陣，以及所述鄰接矩陣中各矩陣行的鄰近權(quán)重；

調(diào)用圖卷積神經(jīng)網(wǎng)絡(luò)，對所述特征矩陣和所述鄰接矩陣基于所述鄰近權(quán)重進(jìn)行卷積處理，生成所述圖結(jié)構(gòu)的結(jié)果表示矩陣；

根據(jù)所述結(jié)果表示矩陣，生成所述待處理圖片中文字的結(jié)構(gòu)化信息。

可選地，所述對所述特征矩陣和所述鄰接矩陣基于所述鄰近權(quán)重進(jìn)行卷積處理，生成所述圖結(jié)構(gòu)的結(jié)果表示矩陣的步驟包括：

根據(jù)所述鄰近權(quán)重，對所述特征矩陣和所述鄰接矩陣進(jìn)行權(quán)重運(yùn)算，生成中間矩陣；