[發(fā)明專利]一種文檔版面的識(shí)別方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202111360162.2
• 申請(qǐng)日: 2021-11-17
• 公開（公告）號(hào): CN113901954A
• 公開（公告）日: 2022-01-07
• 發(fā)明（設(shè)計(jì)）人: 張鵬
• 申請(qǐng)（專利權(quán)）人: 上海高德威智能交通系統(tǒng)有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04;G06N3/08;G06F40/30
• 代理公司: 北京柏杉松知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 項(xiàng)京;高鶯然

1.一種文檔版面的識(shí)別方法，其特征在于，所述方法包括：

獲取待識(shí)別文檔；

提取所述待識(shí)別文檔的視覺特征和語義特征，其中，所述視覺特征標(biāo)識(shí)所述待識(shí)別文檔對(duì)應(yīng)的圖像整體排版上的視覺特點(diǎn)，所述語義特征至少包括字符級(jí)別的特征和文本行級(jí)別的特征；

將所述圖像特征與所述語義特征進(jìn)行融合，得到多模態(tài)文檔特征；

基于所述多模態(tài)文檔特征，識(shí)別得到所述待識(shí)別文檔中各元素的元素位置和類別。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述提取所述待識(shí)別文檔的視覺特征和語義特征的步驟，包括：

當(dāng)判斷所述待識(shí)別文檔為文件格式的文檔時(shí)，將所述待識(shí)別文檔轉(zhuǎn)換為圖像，作為待識(shí)別圖像；對(duì)所述待識(shí)別文檔進(jìn)行文件解析，獲得所述待識(shí)別文檔包括的文本內(nèi)容以及文本位置；

當(dāng)判斷所述待識(shí)別文檔為圖像格式的文檔時(shí)，將所述待識(shí)別文檔作為待識(shí)別圖像；對(duì)所述待識(shí)別文檔進(jìn)行圖像識(shí)別，獲得所述待識(shí)別文檔包括的文本內(nèi)容以及文本位置，其中，所述文本內(nèi)容至少包括字符級(jí)別的文本內(nèi)容和文本行級(jí)別的文本內(nèi)容；

提取所述待識(shí)別圖像的視覺特征，并基于所述文本內(nèi)容以及所述文本位置確定所述待識(shí)別文檔的語義特征。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述提取所述待識(shí)別圖像的視覺特征，并基于所述文本內(nèi)容以及所述文本位置確定所述待識(shí)別文檔的語義特征的步驟，包括：

將所述文本內(nèi)容按照所述文本位置填充至所述待識(shí)別文檔中，得到語義特征圖；

將所述待識(shí)別圖像和所述語義特征圖輸入預(yù)先建立的第一卷積神經(jīng)網(wǎng)絡(luò)，獲得所述第一卷積神經(jīng)網(wǎng)絡(luò)輸出的視覺特征和語義特征；或，

將所述待識(shí)別圖像輸入預(yù)先建立的第二卷積神經(jīng)網(wǎng)絡(luò)，獲得所述第二卷積神經(jīng)網(wǎng)絡(luò)輸出的視覺特征，將所述語義特征圖輸入預(yù)先建立的第三卷積神經(jīng)網(wǎng)絡(luò)，獲得所述第三卷積神經(jīng)網(wǎng)絡(luò)輸出的語義特征。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述圖像特征與所述語義特征進(jìn)行融合，得到多模態(tài)文檔特征的步驟，包括：

將所述圖像特征與所述語義特征輸入預(yù)先建立的神經(jīng)網(wǎng)絡(luò)，獲得所述神經(jīng)網(wǎng)絡(luò)輸出的多模態(tài)文檔特征，其中，所述神經(jīng)網(wǎng)絡(luò)用于將圖像特征與語義特征進(jìn)行特征融合，所述神經(jīng)網(wǎng)絡(luò)基于以下公式計(jì)算得到所述多模態(tài)文檔特征M：

M＝A*V+(1-A)*S

其中，V為所述視覺特征，S為所述語義特征，A＝f(V,S)，A為通過視覺特征樣本和語義特征樣本訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)得到的加權(quán)權(quán)重，f為所述神經(jīng)網(wǎng)絡(luò)對(duì)應(yīng)的映射函數(shù)。

5.根據(jù)權(quán)利要求1-4任一項(xiàng)所述的方法，其特征在于，所述基于所述多模態(tài)文檔特征，識(shí)別得到所述待識(shí)別文檔中各元素的元素位置和類別的步驟，包括：

基于所述多模態(tài)文檔特征，對(duì)所述待識(shí)別文檔進(jìn)行目標(biāo)檢測(cè)，確定所述待識(shí)別文檔中各元素的元素位置和類別。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，在所述確定所述待識(shí)別文檔中各元素的元素位置和類別的步驟之后，所述方法還包括：

基于預(yù)先確定的文檔元素之間的結(jié)構(gòu)關(guān)系，對(duì)所述各元素的元素位置和類別進(jìn)行調(diào)整，得到所述各元素最終的元素位置和類別。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述基于預(yù)先確定的文檔元素之間的結(jié)構(gòu)關(guān)系，對(duì)所述各元素的元素位置和類別進(jìn)行調(diào)整，得到所述各元素最終的元素位置和類別的步驟，包括：

將所述多模態(tài)文檔特征、所述各元素的元素位置和類別輸入預(yù)先建立的關(guān)系建模模型，以使所述關(guān)系建模模型基于預(yù)先確定的文檔元素之間的結(jié)構(gòu)關(guān)系和所述多模態(tài)文檔特征，對(duì)所述各元素對(duì)應(yīng)的元素位置和類別進(jìn)行調(diào)整，輸出所述各元素最終的元素位置和類別。