[發明專利]試卷內容自動分類的版面分析方法、系統

有效

• 申請號: 201811512183.X
• 申請日: 2018-12-11
• 公開（公告）號: CN109685065B
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 劉成林;李曉輝;殷飛
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/32;G06K9/68;G06N3/04
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩

1.一種試卷內容自動分類的版面分析方法，其特征在于，所述方法包括如下步驟：

步驟S10，獲取錄入的文檔圖像；

步驟S20，提取所述文檔圖像的連通部件構成原始聯通部件集，并對各連通部件提取特征；

步驟S30，根據文檔圖像的連通部件，對各連通部件進行文本和非文本的分類，獲取第一文本連通部件集、非文本連通部件集；

步驟S40，對步驟S30中得到的非文本連通部件集中各連通部件，基于輪廓曲率信息進行文字部件的檢測和切分，將圖形和表格連通部件進行切分，然后使用預先訓練好的神經網絡分類器對每個小連通部件進行分類，獲得粘連在非文本分類的連通部件中的文字部件，并將該部件增入第一文本連通部件集，得到第二文本連通部件集；

步驟S50之前還包括：對所述第二文本連通部件集中各連通部件，采用基于卷積神經網絡的條件隨機場算法進行文字粘連部件檢測；所述文字粘連部件為同時存在印刷體像素和手寫體像素的連通部件；

對檢測出每一個文字粘連部件進行切分，得到兩個分別包含同一類像素的連通部件；

將各文字粘連部件切分后得到的對應的連通部件增入第二文本連通部件集，得到作為分類對象的第三文本連通部件集；

所述條件隨機場中的一元勢能函數和二元勢能函數采用人工神經網絡進行建模分別得到第二一元勢能函數模型和第二二元勢能函數模型；所述第二一元勢能函數模型的輸入是歸一化尺寸的單個聯通部件，輸出是該連通部件屬于各預設類別的概率；所述第二二元勢能函數模型的輸入是一對連通部件各自歸一化的圖像、以及文檔圖像中包含該對連通部件的最小矩形區域的歸一化圖像，輸出是該對連通部件同時屬于各預設類別的概率；

條件隨機場由節點和邊組成，其中每個節點對應于一個連通部件，每條邊對應于一對連通部件之間的關系，每個節點和與它距離最近的k個節點相連接；條件隨機場的推斷，采用信念傳播算法；卷積神經網絡的參數和條件隨機場的參數可以進行端到端的聯合訓練；

步驟S50，對所述第二文本連通部件集中各連通部件，進行印刷體文字和手寫體文字的分類；步驟S60，輸出文檔圖像內容的分類結果。

2.根據權利要求1所述的試卷內容自動分類的版面分析方法，其特征在于，所述步驟S20之前還包括：

步驟S11，對所述文檔圖像進行預處理；所述預處理包括灰度變換和二值化處理。

3.根據權利要求2所述的試卷內容自動分類的版面分析方法，其特征在于，所述步驟S11中所采用的灰度變換，具體包括：對所述文檔圖像中的像素(i，j)，通過下式進行灰度值變換，獲得變換后的灰度值I′(i，j)，

其中，I(i，j)為像素(i，j)變換前的灰度值，M(i，j)為以像素(i，j)為中心的預設窗口內的灰度均值，α和K為兩個超參數，α＝0.5，K＝10。

4.根據權利要求1所述的試卷內容自動分類的版面分析方法，其特征在于，步驟S30中“對各連通部件進行文本和非文本的分類”，其方法為：

對于原始連通部件集，采用基于多層感知機的條件隨機場對進行結構化預測，獲取聯通部件的文本和非文本的分類。

5.根據權利要求4所述的試卷內容自動分類的版面分析方法，其特征在于，步驟S30中所述條件隨機場包含中的一元勢能函數和二元勢能函數采用人工神經網絡分別建模得到的第一一元勢能函數模型和第一二元勢能函數模型；所述第一一元勢能函數模型的輸入是單個連通部件的特征向量，輸出是該連通部件屬于各預設類別的概率；第一二元勢能函數模型的輸入是一對連通部件的特征向量，輸出是它們同時屬于對應類別的概率。

6.根據權利要求1所述的試卷內容自動分類的版面分析方法，其特征在于，步驟S50中“進行印刷體文字和手寫體文字的分類”，其方法為：

對于步驟S40中得到的文本連通部件集，采用基于人工神經網絡的條件隨機場進行結構化預測，獲取印刷體文字和手寫體文字的分類。