[發(fā)明專利]一種思維導(dǎo)圖圖像識(shí)別和解析重構(gòu)方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110757918.0
• 申請(qǐng)日: 2021-07-05
• 公開（公告）號(hào): CN113449734A
• 公開（公告）日: 2021-09-28
• 發(fā)明（設(shè)計(jì)）人: 王波;張百靈;吳劉潔
• 申請(qǐng)（專利權(quán)）人: 蘇州知犀信息科技有限公司
• 主分類號(hào): G06K9/34
• 分類號(hào): G06K9/34;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 北京尚倫律師事務(wù)所 11477
• 代理人: 陳紅亮

本申請(qǐng)公開了一種思維導(dǎo)圖圖像識(shí)別和解析重構(gòu)方法和裝置，所述方法包括：對(duì)思維導(dǎo)圖圖像的尺寸進(jìn)行調(diào)整后進(jìn)行切割得到圖像塊；生成文字區(qū)域二值掩碼圖，將分塊生成的文字區(qū)域掩碼圖重新拼接為完整的文字區(qū)域二值掩碼圖；提取調(diào)整后思維導(dǎo)圖對(duì)應(yīng)區(qū)域的文字圖像塊，識(shí)別提取文字區(qū)域圖像塊中的文字信息和對(duì)應(yīng)的位置關(guān)系；重新切割圖像，根據(jù)檢測(cè)到的線段信息，生成完整的線段二值掩碼圖，最終根據(jù)線段掩碼圖的二值輪廓更正線段信息；根據(jù)更正后線段相交情況，以及文字區(qū)域與線段之間位置、距離等關(guān)系確定文字區(qū)域節(jié)點(diǎn)與線段之間的匹配關(guān)系和不同文字區(qū)域節(jié)點(diǎn)之間的連接關(guān)系，并重構(gòu)思維導(dǎo)圖。本申請(qǐng)?zhí)嵘怂季S導(dǎo)圖素材生成和風(fēng)格樣式轉(zhuǎn)換效率。

技術(shù)領(lǐng)域

本申請(qǐng)實(shí)施例涉及圖像中的文本檢測(cè)與識(shí)別技術(shù)，尤其涉及一種思維導(dǎo)圖圖像識(shí)別和解析重構(gòu)方法和裝置。

背景技術(shù)

思維導(dǎo)圖是一種表達(dá)發(fā)散性思維的有效圖形思維工具，其運(yùn)用圖文并重的技巧，把各級(jí)主題的關(guān)系用相互隸屬與相關(guān)的層級(jí)圖表現(xiàn)出來。思維導(dǎo)圖因其形象生動(dòng)、簡(jiǎn)單有效的優(yōu)點(diǎn)而被廣泛使用。近年來，市場(chǎng)上推出了大量的思維導(dǎo)圖畫圖軟件工具，并生產(chǎn)了海量的思維導(dǎo)圖圖文數(shù)據(jù)。不同軟件工具之間生成的思維導(dǎo)圖風(fēng)格各異，以及缺少原始的結(jié)構(gòu)化數(shù)據(jù)關(guān)系表示，生成的思維導(dǎo)圖無法在這些軟件之間進(jìn)行高效的轉(zhuǎn)換，只能以完全人工的方式進(jìn)行轉(zhuǎn)換。該現(xiàn)狀導(dǎo)致人們常常以非常低效率的方式生成內(nèi)容相似的思維導(dǎo)圖，降低了思維導(dǎo)圖的使用效率。

近年來，深度學(xué)習(xí)等人工智能技術(shù)快速發(fā)展，尤其是文字檢測(cè)與識(shí)別、直線檢測(cè)等技術(shù)取得了顯著的進(jìn)步。這些技術(shù)的突破為解析思維導(dǎo)圖提供了基礎(chǔ)。針對(duì)普通文檔，現(xiàn)有的通用光學(xué)字符識(shí)別(OCR，Optical Character Recognition)工具已經(jīng)可以非常高效地檢測(cè)和識(shí)別圖文中的中英文文字，如文字識(shí)別網(wǎng)絡(luò)(CPTN，Connectionist Text ProposalNetwork)文字檢測(cè)模型算法、端到端不定長(zhǎng)文字識(shí)別(CRNN，Convolutional RecurrentNeural Network)文字識(shí)別模型算法。不同于普通文檔，思維導(dǎo)圖通常圖像尺寸大，頁面規(guī)格和文字格式不統(tǒng)一，具有典型的大圖小字的特征。通用的文字檢測(cè)和識(shí)別深度神經(jīng)網(wǎng)絡(luò)模型都會(huì)對(duì)圖像進(jìn)行歸一化，一般對(duì)輸入文本圖像的尺寸和字體大小都會(huì)有一定的要求，偏離這些標(biāo)準(zhǔn)會(huì)導(dǎo)致檢測(cè)識(shí)別準(zhǔn)確率降低、計(jì)算量增大等問題。如果直接按照通用文字檢測(cè)與識(shí)別方法，將思維導(dǎo)圖圖像縮放到統(tǒng)一規(guī)格后再輸入深度神經(jīng)網(wǎng)絡(luò)，檢測(cè)識(shí)別的準(zhǔn)確率會(huì)非常低。這種現(xiàn)象主要是因?yàn)榇蟪叨葓D像不僅會(huì)增加模型計(jì)算的內(nèi)存和顯存需求，而且經(jīng)過縮放操作后文字的紋理信息會(huì)被嚴(yán)重破壞和丟失。

發(fā)明內(nèi)容

有鑒于此，本申請(qǐng)實(shí)施例提供一種思維導(dǎo)圖圖像識(shí)別和解析重構(gòu)方法和裝置。

根據(jù)本申請(qǐng)的第一方面，提供一種思維導(dǎo)圖圖像識(shí)別和解析重構(gòu)方法，包括：

對(duì)思維導(dǎo)圖圖像的尺寸大小進(jìn)行調(diào)整，并對(duì)調(diào)整后的圖像進(jìn)行自適應(yīng)切割分塊，得到圖像塊；

檢測(cè)所述圖像塊中的文字并生成相應(yīng)的文字區(qū)域二值掩碼圖，基于所述調(diào)整后的圖像的大小，將所述分塊的文字區(qū)域二值掩碼圖重新拼接為完整的文字二值掩碼圖；

根據(jù)所述文字二值掩碼圖中的文字區(qū)域坐標(biāo)提取調(diào)整后思維導(dǎo)圖中對(duì)應(yīng)位置的文字區(qū)域圖像塊，識(shí)別所述文字區(qū)域圖像塊中的文字信息和提取相應(yīng)位置關(guān)系；

切割圖像，檢測(cè)所述圖像塊中的線段，根據(jù)圖像所檢測(cè)到的線段信息，生成完整的線段二值掩碼圖，基于所述線段二值掩碼圖中的二值輪廓重新更正線段；

確定所述最終更正后線段之間的相交情況，根據(jù)所述相交情況及位置關(guān)系，確定所述最終的線段與文字塊節(jié)點(diǎn)的匹配關(guān)系和不同文字塊節(jié)點(diǎn)之間的父子連接關(guān)系，根據(jù)所確定的文字塊節(jié)點(diǎn)父子關(guān)系和位置信息重構(gòu)思維導(dǎo)圖，并在編輯畫板進(jìn)行布置和編輯。

作為一種實(shí)現(xiàn)方式，所述重構(gòu)思維導(dǎo)圖，包括：