[發(fā)明專利]一種基于深度學(xué)習(xí)和OCR的檢驗、體檢報告單結(jié)果提取方法

在審

• 申請?zhí)枺?/td>: 202011617132.0
• 申請日: 2020-12-31
• 公開（公告）號: CN113553892A
• 公開（公告）日: 2021-10-26
• 發(fā)明（設(shè)計）人: 陳超;宋彪;羅祎斐
• 申請（專利權(quán)）人: 內(nèi)蒙古衛(wèi)數(shù)數(shù)據(jù)科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/46;G06K9/62;G06K9/72;G06F16/35;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明提供一種基于深度學(xué)習(xí)和OCR的檢驗、體檢報告單結(jié)果提取方法，其特征是先使用OCR提取報告單圖片中的文字內(nèi)容和文字坐標(biāo)信息，再根據(jù)文字坐標(biāo)信息，使用神經(jīng)網(wǎng)絡(luò)模型解析報告單中的表格結(jié)構(gòu)，將報告單上的文字分為表頭、表格主體、其他三類，再根據(jù)表頭的文字內(nèi)容，找到所需的表頭，最后根據(jù)坐標(biāo)提取相應(yīng)的表格主體數(shù)據(jù)。本方法以一種更類似人類的思維方式理解報告單：根據(jù)文字的位置信息劃分表格結(jié)構(gòu)，之后只需要對表頭的文字做簡單的語義識別，表格主體數(shù)據(jù)不需要理解語義也可以簡單的提取出來。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像識別領(lǐng)域，具體涉及一種基于深度學(xué)習(xí)和OCR的檢驗、體檢報告單結(jié)果提取方法。

背景技術(shù)

隨著科學(xué)技術(shù)的進(jìn)步，醫(yī)療領(lǐng)域也在逐漸走向數(shù)字化。在目前的檢驗、體檢報告單數(shù)據(jù)收集中，與醫(yī)院信息系統(tǒng)的數(shù)據(jù)對接是常見方式，但也面臨著很多困難。出于對受檢者信息保密性的考慮，國內(nèi)幾乎所有醫(yī)療檢驗、體檢機構(gòu)還不能直接分享檢驗、體檢報告單電子數(shù)據(jù)。對于研究機構(gòu)，紙質(zhì)報告數(shù)字化的方法，可以作為一種數(shù)據(jù)采集的方式；對于受檢者，將手中的紙質(zhì)報告數(shù)字化，可以更方便的享受深層報告解讀和數(shù)據(jù)挖掘服務(wù)。因此，如何實現(xiàn)表格形式的圖像識別，使得紙質(zhì)的醫(yī)療檢驗、體檢報告單數(shù)字化很有必要。

文本檢測和文本識別相對成熟，不過目前對于報告單形式數(shù)據(jù)的結(jié)構(gòu)化方法，還有非常大的局限性，有很大提升空間。

對于現(xiàn)有的結(jié)果提取方法：一種是基于項目字典，對文本進(jìn)行語義分析，先找到項目名稱，再去匹配相應(yīng)的檢查結(jié)果；一種是預(yù)先設(shè)置模版，根據(jù)設(shè)置好的模版對數(shù)據(jù)進(jìn)行提取。由于醫(yī)療機構(gòu)高度個性化的報告模版和項目字典，使得現(xiàn)有方法的通用性、兼容性都不太好。

發(fā)明內(nèi)容

鑒于現(xiàn)有檢驗、體檢報告單的數(shù)據(jù)都是以表格的形式展示，本方法基于文字的位置、大小，識別表格結(jié)構(gòu)，將文字分為表格的表頭、表格主體數(shù)據(jù)、其他文本數(shù)據(jù)三類。

本方法以一種更類似人類的思維方式理解報告單：根據(jù)文字的位置信息劃分表格結(jié)構(gòu)，之后只需要對表頭的文字做簡單的語義識別，表格主體數(shù)據(jù)不需要理解語義也可以簡單的提取出來。

本發(fā)明采用的技術(shù)方案如下：

一種基于深度學(xué)習(xí)和OCR的檢驗、體檢報告單結(jié)果提取方法，包括以下步驟：

步驟1：獲取受試者的檢驗、體檢報告單圖片；

步驟2：對原始檢驗、體檢報告單圖片進(jìn)行預(yù)處理；

步驟3：利用OCR技術(shù)識別圖片中的文字大小、位置信息，以及文本內(nèi)容；

步驟4：利用深度學(xué)習(xí)模型，基于識別出來的文字大小、位置信息，對各文本進(jìn)行分類，分為表格的表頭、表格主體數(shù)據(jù)、其他文本數(shù)據(jù)；

步驟5：基于文本的位置信息和分類結(jié)果，指定需要提取的表頭，將對應(yīng)的表格主體數(shù)據(jù)提取為結(jié)構(gòu)化數(shù)據(jù)。

進(jìn)一步的，步驟2中，對原始檢驗、體檢報告單圖片進(jìn)行預(yù)處理的方法包括：邊緣檢測、霍夫直線檢測、圖片內(nèi)容提取、透視變換、文字方向檢測、圖片方向旋轉(zhuǎn)。

進(jìn)一步的，步驟3中，利用OCR技術(shù)識別包括：文字檢測、文字識別。

其中文字檢測是找到圖片中文字的位置，結(jié)果為文字的位置信息，包括文字的中心點位置、長寬。檢測出文字位置后，通過文字識別得到對應(yīng)的文本內(nèi)容。

進(jìn)一步的，步驟4中，深度學(xué)習(xí)模型為提前訓(xùn)練好的機器學(xué)習(xí)三分類模型：其輸入為圖片中所有文字的位置信息；輸出為各個文字位置對應(yīng)的分類結(jié)果，三種類別為表頭、表格主體、其他文本。

進(jìn)一步的，步驟5中，指定需要提取的表頭方法為：通過提前設(shè)置好的表頭文本內(nèi)容，如“項目名稱”、“檢查結(jié)果”，與圖片中分類結(jié)果為表頭的文本內(nèi)容做對比，用于找到需要提取表頭的位置信息。

具體實施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合實施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。