[發(fā)明專利]一種基于深度學(xué)習(xí)的票證關(guān)鍵信息提取方法和裝置

在審

• 申請?zhí)枺?/td>: 202110295682.3
• 申請日: 2021-03-19
• 公開（公告）號: CN113065423A
• 公開（公告）日: 2021-07-02
• 發(fā)明（設(shè)計(jì)）人: 張賓;孫喜民;周晶;劉丹;王帥;李慧超
• 申請（專利權(quán)）人: 國網(wǎng)電子商務(wù)有限公司;國網(wǎng)電商科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06N3/04;G06N3/08
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 陳志海

本申請公開了一種基于深度學(xué)習(xí)的票證關(guān)鍵信息提取方法和裝置，將待審核圖像輸入至預(yù)先構(gòu)建的目標(biāo)檢測網(wǎng)絡(luò)中，經(jīng)由目標(biāo)檢測網(wǎng)絡(luò)對待審核圖像進(jìn)行目標(biāo)檢測，得到各個(gè)文本框圖像、以及各個(gè)文本框圖像的類別。對各個(gè)文本框圖像進(jìn)行文字識別，得到文本框圖像與文字信息之間的對應(yīng)關(guān)系。基于類別與審核項(xiàng)之間的預(yù)設(shè)對應(yīng)關(guān)系、以及文本框圖像與文字信息之間的對應(yīng)關(guān)系，確定審核項(xiàng)所對應(yīng)的文字信息。相較于現(xiàn)有技術(shù)，本申請所述方法無需對識別得到的各個(gè)文字信息進(jìn)行規(guī)則匹配，避免因規(guī)則匹配所導(dǎo)致的誤差，從而有效提升文字識別的準(zhǔn)確性。

技術(shù)領(lǐng)域

本申請涉及圖像識別技術(shù)領(lǐng)域，尤其涉及一種基于深度學(xué)習(xí)的票證關(guān)鍵信息提取方法和裝置。

背景技術(shù)

對待審核圖像進(jìn)行文字識別，一直是圖像識別技術(shù)中的關(guān)注重點(diǎn)。所謂的待審核圖像，即人們?nèi)粘Ｉ罟ぷ髦兴佑|的票證(例如身份證、發(fā)票、繳費(fèi)清單、以及火車票等)的圖像。對待審核圖像進(jìn)行文字識別，其實(shí)就是提取票證中的關(guān)鍵信息。

在現(xiàn)有技術(shù)中，大多利用文字識別技術(shù)，識別待審核圖像所示的各個(gè)文字信息，并對各個(gè)文字信息進(jìn)行規(guī)則匹配，確定各個(gè)預(yù)設(shè)的審核項(xiàng)(即票證中關(guān)鍵信息的類型)所對應(yīng)的文字信息，以身份證圖像為例，預(yù)設(shè)的審核項(xiàng)可以為身份證號碼、家庭住址和出生年月等。然而，規(guī)則匹配的匹配結(jié)果較為容易出錯(cuò)，使得待審核圖像的文字識別的準(zhǔn)確性降低。

發(fā)明內(nèi)容

本申請?zhí)峁┝艘环N基于深度學(xué)習(xí)的票證關(guān)鍵信息提取方法和裝置，目的在于提高文字識別的準(zhǔn)確性。

為了實(shí)現(xiàn)上述目的，本申請?zhí)峁┝艘韵录夹g(shù)方案：

一種基于深度學(xué)習(xí)的票證關(guān)鍵信息提取方法，包括：

將待審核圖像輸入至預(yù)先構(gòu)建的目標(biāo)檢測網(wǎng)絡(luò)中，經(jīng)由所述目標(biāo)檢測網(wǎng)絡(luò)對所述待審核圖像進(jìn)行目標(biāo)檢測，得到各個(gè)文本框圖像、以及各個(gè)所述文本框圖像的類別；

對各個(gè)所述文本框圖像進(jìn)行文字識別，得到所述文本框圖像與文字信息之間的對應(yīng)關(guān)系；

基于所述類別與審核項(xiàng)之間的預(yù)設(shè)對應(yīng)關(guān)系、以及所述文本框圖像與文字信息之間的對應(yīng)關(guān)系，確定所述審核項(xiàng)所對應(yīng)的文字信息；

其中，所述目標(biāo)檢測網(wǎng)絡(luò)對所述待審核圖像進(jìn)行目標(biāo)檢測的過程為：

利用預(yù)設(shè)的錨框修正結(jié)構(gòu)，修正所述目標(biāo)檢測網(wǎng)絡(luò)的錨框，使得所述錨框的旋轉(zhuǎn)角度與所述待審核圖像所示文字的旋轉(zhuǎn)角度之間的差值，不大于預(yù)設(shè)閾值；

利用預(yù)設(shè)的特征金字塔網(wǎng)絡(luò)，對所述待審核圖像進(jìn)行特征提取，得到各個(gè)特征圖；

針對每個(gè)所述特征圖，在所述特征圖上使用所述錨框生成多個(gè)邊框，并對各個(gè)所述邊框進(jìn)行后處理，得到每個(gè)所述特征圖的文本框圖像；

利用預(yù)設(shè)的分類器，識別各個(gè)所述文本框圖像的類別。

可選的，所述目標(biāo)檢測網(wǎng)絡(luò)的構(gòu)建過程，包括：

構(gòu)建訓(xùn)練集；其中，所述訓(xùn)練集包括樣本圖像、與所述樣本圖像對應(yīng)的標(biāo)注框、以及所述標(biāo)注框的類別；

將所述樣本圖像輸入至預(yù)設(shè)的卷積神經(jīng)網(wǎng)絡(luò)中，利用預(yù)設(shè)的損失函數(shù)和優(yōu)化算法訓(xùn)練所述卷積神經(jīng)網(wǎng)絡(luò)，直至所述卷積神經(jīng)網(wǎng)絡(luò)輸出的文本框圖像與所述標(biāo)注框?qū)?yīng)、以及輸出的類別與所述標(biāo)注框的類別對應(yīng)，確定當(dāng)前訓(xùn)練得到的卷積神經(jīng)網(wǎng)絡(luò)為所述目標(biāo)檢測網(wǎng)絡(luò)。

可選的，所述錨框修正結(jié)構(gòu)包括：

多個(gè)卷積層。

可選的，所述特征金字塔網(wǎng)絡(luò)包括：

特征提取器。

可選的，所述特征提取器包括：

多個(gè)卷積層。

可選的，還包括：