[發明專利]基于卷積神經網絡的印刷品字符區域提取方法

有效

• 申請號: 201711449254.1
• 申請日: 2017-12-27
• 公開（公告）號: CN108021914B
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 戴瓊海;戴威;劉燁斌
• 申請（專利權）人: 清華大學
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06K9/34;G06K9/46;G06N3/04
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

本發明公開了一種基于卷積神經網絡的印刷品字符區域提取方法，包括：通過卷積神經網絡從整個圖像角度對字符區域進行探測，獲取字符區域全局感知的字符候選圖像；通過筆畫探測器探測圖像局部細節；將字符候選圖像和圖像局部細節進行融合，以提取出印刷品字符區域。該方法可以避免傳統方法對于人工確定的閾值的依賴，實現用輪廓勾畫出印刷品圖像中的字符區域，并且畫出的輪廓具有很好的視覺舒適度，有效提高泛化性能。

技術領域

本發明涉及計算機視覺、圖像處理技術領域，特別涉及一種基于卷積神經網絡的印刷品字符區域提取方法。

背景技術

視覺技術代替人眼的勞動力成為工業信息化與自動化中重要的一環，80％的工業視覺系統主要應用在檢測任務中，通過采集產品數據、監測產品質量來提高生產效率，不僅可以代替人工視覺進行大量重復性的勞動，還可以在一些不適合人力作業的危險環境中以及長期工作會對人身造成傷害的環境中代替人工視覺。

目前，工業視覺檢測任務按照檢測功能可以分為定位、缺陷檢測、尺寸測量、OCR、計數/遺漏檢測、特征有無等領域。其中定位、尺寸測量、計數、特征有無等確定性較高的任務算法相對簡單；而外觀缺陷檢測主要包括關鍵區域定位，識別與分類三個部分，目前缺陷識別方面通過匹配比對等方式已經得到了較好的解決，而關鍵區域定位由于產品多樣性較大，復雜度較高，傳統的閾值化的檢測方法處理效果不佳，近年來由于消費升級，印刷品市場日益火爆，印刷品包裝缺陷準確識別成為了一個亟待解決的問題。

印刷品是產品包裝的主要形式，具有外觀精美、成本低廉、清潔衛生等優點，在食品、藥品、日化品等眾多行業得到了廣泛的應用。印刷品質量檢測是印刷品包裝生產后投入市場前的重要步驟，印刷生產過程中可能存在各種各樣的缺陷，例如墨點、異物、文字殘缺、漏印等。這些缺陷一旦出現在產品包裝上，會嚴重影響產品的視覺觀感，甚至影響產品品牌以及客戶對產品的認知。通常情況下，由于產品中的字符區域具有很多重要的信息，如果字符區域出現缺陷可能造成嚴重的后果，尤其是對于藥品、化工產品等的印刷品包裝，因此對于字符區域的缺陷檢測往往會比其他區域更加嚴格。目前，對于劃分好的區域利用圖像灰度比對進行顏色、刀絲、套印、散點等一系列檢測方法已經比較成熟，因此如何對印刷品的字符區域進行自動提取成為了印刷品表面缺陷自動檢測的一個關鍵技術問題。

相關技術中，印刷品字符區域自動提取方法主要通過圖像特征、連通區域、紋理、筆畫寬度等人工提取的特征進行識別。傳統的方法提取特征難以適應印刷品表面復雜的背景和字符樣式，通過人工確定的閾值往往只能適應一部分圖像，泛化性能較差，并且本身往往專注于局部細節特征，難以從整體上定位出符合人眼視覺的字符輪廓。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的一個目的在于提出一種基于卷積神經網絡的印刷品字符區域提取方法，該方法可以畫出的輪廓具有很好的視覺舒適度，有效提高泛化性能。

本發明的另一個目的在于提出一種基于卷積神經網絡的印刷品字符區域提取裝置。

為達到上述目的，本發明一方面實施例提出了一種基于卷積神經網絡的印刷品字符區域提取方法，包括以下步驟：通過卷積神經網絡從整個圖像角度對字符區域進行探測，獲取字符區域全局感知的字符候選圖像；通過筆畫探測器探測圖像局部細節；將所述字符候選圖像和所述圖像局部細節進行融合，以提取出印刷品字符區域。

本發明實施例的基于卷積神經網絡的印刷品字符區域提取方法，可以避免傳統方法對于人工確定的閾值的依賴，實現用輪廓勾畫出印刷品圖像中的字符區域，并且畫出的輪廓具有很好的視覺舒適度，有效提高泛化性能，提高單張圖像的平均處理時間。

另外，根據本發明上述實施例的基于卷積神經網絡的印刷品字符區域提取方法還可以具有以下附加的技術特征：