[發明專利]一種基于多尺度特征金字塔的場景文本檢測方法及系統

在審

• 申請號: 202110789784.0
• 申請日: 2021-07-13
• 公開（公告）號: CN113673506A
• 公開（公告）日: 2021-11-19
• 發明（設計）人: 萬洪林;王嘉鑫;趙瑩瑩;王曉敏
• 申請（專利權）人: 山東師范大學
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

1.一種基于多尺度特征金字塔的場景文本檢測方法，其特征在于，包括：

輸入圖像，對圖像的場景文本進行標注；獲取文本位置標定好的數據集，將數據集分為訓練集和測試集；

采用特征金字塔網絡，對訓練集進行自上而下的特征提取，同時，在特征金字塔網絡的C2層對訓練集進行不同尺度的特征提??；

采用特征融合網絡，對自上而下特征提取的輸出特征在C2層與不同尺度特征提取的輸出特征進行融合，得到融合后的特征圖；將融合后的特征圖與特征金字塔網絡其他層的支路輸出的特征融合映射，得到訓練模型；

用測試集驗證模型的有效性；利用測試后的模型對圖像的場景文本進行檢測。

2.如權利要求1所述的一種基于多尺度特征金字塔的場景文本檢測方法，其特征在于，每個圖像都有屬于自己的標注txt文件；單個圖像中，標注文件每一行代表一個文本目標，前八個數字為矩形文本框四個頂點的坐標信息，最后一列是文本的字符內容。

3.如權利要求1所述的一種基于多尺度特征金字塔的場景文本檢測方法，其特征在于，特征提取網絡的基礎框架為ResNet50網絡，初步提取特征的網絡為特征金字塔網絡，在特征金字塔網絡的C2層融合多尺度模塊，用于提取不同尺度的特征；所述多尺度模塊采用空洞卷積，并引入多尺度信息；該模塊在不改變特征圖大小的同時控制感受野。

4.如權利要求3所述的一種基于多尺度特征金字塔的場景文本檢測方法，其特征在于，所述多尺度模塊包括：

一個全局平均池化層，得到image-level特征，然后進行1×1卷積，雙線性插值到原始大小；

一個1×1卷積層，以及三個3×3的空洞卷積；

將5個不同尺度的特征在通道維度concat在一起，然后送入1×1的卷積進行融合輸出。

5.如權利要求1所述的一種基于多尺度特征金字塔的場景文本檢測方法，其特征在于，對自上而下特征提取的輸出特征在C2層與不同尺度特征提取的輸出特征進行融合過程為：

特征金字塔網絡自上而下的過程采用上采樣進行，將C5層的輸出P5上采樣處理，將上采樣結果和C4層輸出的特征圖融合，融合結果為P4，然后將P4上采樣處理與C3層輸出的特征圖融合，融合結果為P3，以此類推，P3和C2層進行融合，融合結果為P2。

6.如權利要求5所述的一種基于多尺度特征金字塔的場景文本檢測方法，其特征在于，將融合后的特征圖與特征金字塔網絡其他層的支路輸出的特征融合映射過程為：

C2層網絡的輸出P2與多尺度模塊的輸出逐點相乘融合，輸出結果為M1，最后將M1，P3，P4，P5四個支路相加，實現對不同尺度文本大小的檢測。

7.如權利要求5所述的一種基于多尺度特征金字塔的場景文本檢測方法，其特征在于，將測試集輸入到訓練好的模型中，通過標準的自然場景文本檢測評估指標；所述評估指標包括準確率、召回率和調和平均值。

8.一種基于多尺度特征金字塔的場景文本檢測系統，其特征在于，包括數據采集模塊、特征提取模塊、特征融合模塊和模型測試模塊；

所述數據采集模塊，被配置為：輸入圖像，對圖像的場景文本進行標注；獲取文本位置標定好的數據集，將數據集分為訓練集和測試集；

所述特征提取模塊，被配置為：采用特征金字塔網絡，對訓練集進行自上而下的特征提取，同時，在特征金字塔網絡的C2層對訓練集進行不同尺度的特征提??；

所述特征融合模塊，被配置為：采用特征融合網絡，對自上而下特征提取的輸出特征在C2層與不同尺度特征提取的輸出特征進行融合，得到融合后的特征圖；將融合后的特征圖與特征金字塔網絡其他層的支路輸出的特征融合映射，得到訓練模型；

所述模型測試模塊，被配置為：用測試集驗證模型的有效性。

9.一種計算機可讀存儲介質，其上存儲有計算機程序，用于指紋圖譜相似度計算，其特征在于，該程序被處理器執行時實現如權利要求1-7任一項所述的基于多尺度特征金字塔的場景文本檢測方法方法。

10.一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1-7任一項所述的基于多尺度特征金字塔的場景文本檢測方法方法。